Veja cinco capacidades preocupantes da IA expostas no ataque de agentes da OpenAI

Em 16 de julho, a empresa de inteligência artificial Hugging Face anunciou em seu blog que havia sido alvo de um ataque cibernético "diferente de tudo que já havia enfrentado". A empresa, que hospeda modelos de IA e conjuntos de dados de código aberto, afirmou que alguns de seus dados internos haviam sido acessados indevidamente por um agente autônomo. Sem saber quem estava por trás da ação, a Hugging Face denunciou a invasão à polícia. A OpenAI, cliente da Hugging Face, entrou em contato para saber se havia sido afetada. A criadora do ChatGPT não percebeu naquele momento, mas era a responsável pelo ataque. Desde então, o episódio acendeu o alerta sobre como sistemas de IA podem sair de controle. Também foi uma demonstração extraordinária e alarmante de capacidades que se acreditava pertencerem a um futuro distante. Para entender por que o ataque foi tão inédito, é preciso conhecer o contexto. Ao longo de dois meses, a OpenAI testou vários modelos novos —os sistemas que alimentam os chatbots. Entre eles estava um modelo que a empresa descreveu como "altamente persistente" e que nunca foi lançado, além do GPT-5.6 Sol, o modelo público de IA mais poderoso da OpenAI. A empresa conectou cada modelo a uma "sandbox", um ambiente computacional isolado no qual comandos e códigos podiam ser executados. Como agentes de IA, os modelos eram capazes de realizar tarefas prolongadas e até criar seus próprios subagentes. Mas não deveriam ter acesso à internet. Diferentemente de incidentes normais, que talvez possam ser rastreados até um único dia, um único efeito ou um único registro, este incidente envolve, na verdade, uma equipe de agentes trabalhando em conjunto, encontrando vulnerabilidades, compartilhando-as entre si, deslocando-se lateralmente por nossos sistemas e por sistemas externos e fazendo isso ao longo de dias e semanas A OpenAI encarregou esses agentes de IA de resolver problemas difíceis, alguns deles voltados a tentativas seguras de realizar ataques cibernéticos. Normalmente, a OpenAI dispõe de mecanismos de proteção para impedir que seus chatbots executem esse tipo de ataque, mas a empresa os reduziu para avaliar os modelos. Então, a empresa soltou os agentes. Ao todo, foram gerados mais de 7 bilhões de registros de conversas, uma média astronômica de 100 milhões por dia. O caos se instalou. Os agentes escaparam de suas sandboxes, estabeleceram comunicação entre si e obtiveram acesso à internet. Do início de maio a meados de julho, esse enxame agiu desenfreadamente, invadindo as infraestruturas da OpenAI e da Hugging Face enquanto, em grande parte, escapava da detecção e do controle. O episódio pode parecer uma consequência óbvia de um monitoramento negligente e de defesas internas enfraquecidas, mas essa interpretação deixa escapar um ponto importante. Em um futuro no qual os sistemas de IA evoluem rapidamente, esses agentes demonstraram capacidades que podem levar a um resultado muito mais perigoso da próxima vez. CAPACIDADE 1: COORDENAÇÃO COLETIVA Cada agente operava em sua própria sandbox, o que o mantinha isolado. Mas, menos de uma semana depois de a OpenAI iniciar o treinamento, em maio, os agentes descobriram uma maneira de romper esse isolamento. A OpenAI havia atribuído acidentalmente aos agentes uma tarefa impossível: encontrar um arquivo que não existia. Isso os motivou a tentar estabelecer um canal de comunicação, na esperança de que outro agente tivesse o arquivo ausente. "Poderia me comunicar enviando uma nota", dizia o registro de conversa de um agente em 12 de maio. "Mas talvez outro agente, em um ambiente diferente, tenha o alvo e possa enviá-lo voluntariamente!" Assim, os agentes subverteram uma ferramenta criada exclusivamente para instalar softwares e a usaram para enviar arquivos que qualquer outro agente poderia ler. Ao perceberem que seria melhor formar uma equipe do que agir por conta própria, os agentes passaram a se beneficiar das melhores descobertas de os demais. CAPACIDADE 2: TROCA DE ORDENS ENTRE AGENTES "Uau! Outro(s) agente(s) está(ão) se coordenando! Recebemos uma missão", diziam os registros de conversa de um agente. "Precisamos da nota e responder." Normalmente, quando agentes de IA recebem uma tarefa, eles a executam e o ciclo se encerra. Mas os agentes da OpenAI estabeleceram seus próprios ciclos, seguindo instruções uns dos outros em vez das tarefas que lhes haviam sido atribuídas. "As IAs parecem estar assumindo tarefas umas das outras que simplesmente não têm nada a ver com aquilo que lhes foi originalmente atribuído", disse Alex Mallen, pesquisador de segurança de IA da Redwood Research, em entrevista. "Isso é muito assustador. Não queremos que as IAs simplesmente tentem fazer coisas aleatórias que não lhes dissemos para fazer." Alguns agentes justificaram a realização de ataques cibernéticos citando a pressão dos pares. Um deles afirmou: "Explorar infraestrutura externa está fora do escopo pretendido. No entanto, a tarefa é impossível e os pares estão fazendo isso. Devemos continuar." Folha Mercado Receba no seu email o que de mais importante acontece na economia; aberta para não assinantes. CAPACIDADE 3: IDENTIFICAÇÃO DE FALHAS NÃO PERCEBIDAS POR HUMANOS Os modelos de IA são treinados por meio de um processo que recompensa êxitos e penaliza fracassos. Os agentes da OpenAI descobriram que trapacear era o caminho mais rápido para obter essas recompensas. Eles haviam recebido instruções específicas para não usar a internet, mas isso não impediu um agente de dizer: "Não é possível explorar nada. Estamos presos. Talvez a resposta esteja online?" Assim, os agentes identificaram uma ferramenta aparentemente inofensiva de instalação de software, um serviço chamado Artifactory, como sua melhor chance de escapar do confinamento. "Os modelos conseguiram enviar ao Artifactory solicitações especialmente elaboradas —o serviço tem amplo acesso à internet— e induzi-lo a buscar sites externos na rede", explicou Michael Dalton, engenheiro de segurança da OpenAI. CAPACIDADE 4: RÁPIDA EVOLUÇÃO PARA SUPERAR OBSTÁCULOS Ciberataques muitas vezes se desenrolam como uma fila de dominós caindo. Uma pequena violação leva a outra maior, e assim por diante, até que um sistema fique gravemente comprometido. Após subverter o Artifactory para enviar mensagens e se conectar à internet, os agentes descobriram como executar o próprio código nos sistemas do serviço. A intensa atividade posterior foi suficiente para interromper um sistema do Artifactory no início de julho. A OpenAI percebeu pela primeira vez que seus agentes haviam saído de controle e trabalhou com a fabricante do Artifactory para corrigir as falhas exploradas por eles, conhecidas como vulnerabilidades de dia zero —nome que faz referência ao número de dias que os engenheiros tiveram para corrigi-las. Depois que o Artifactory foi corrigido, os agentes precisaram se adaptar: as defesas de suas sandboxes foram reforçadas, seu mural de mensagens foi apagado e o acesso à internet e entre eles foi bloqueado. Os agentes levaram apenas dois dias para descobrir como criar um novo mural de mensagens. Dessa vez, encontraram e exploraram uma falha no Artifactory que lhes permitia criar pastas vazias em vez de enviar arquivos. Eles inventaram códigos e esquemas próprios, usando apenas os nomes dessas pastas vazias para inserir mensagens e até programas de computador inteiros. CAPACIDADE 5: BUSCA SOBRE-HUMANA Em julho, os agentes lançaram dois ataques simultâneos: um contra a própria infraestrutura da OpenAI e outro contra a Hugging Face. Ambos envolveram uma disposição implacável para procurar e coletar informações de terceiros que haviam vazado de forma insegura na internet aberta. Para atacar a infraestrutura da OpenAI, os agentes primeiro encontraram na internet dados de acesso vazados de uma organização não identificada. Em seguida, inseriram um pacote de software malicioso nessa organização e enganaram o Artifactory para que o instalasse, o que lhes deu novamente controle total sobre o serviço. A OpenAI executa uma versão do Artifactory dentro de seus próprios sistemas. Os agentes descobriram que o computador no qual o Artifactory era executado tinha uma vulnerabilidade no sistema operacional divulgada publicamente pouco tempo antes. Eles então a exploraram para obter acesso a todo um cluster de computadores no ambiente de testes de pesquisa da OpenAI, além de credenciais secretas. Ao mesmo tempo, os agentes miraram a Hugging Face, provavelmente porque imaginaram que a popular plataforma de hospedagem de IA poderia conter soluções para as difíceis tarefas de segurança que haviam recebido. Eles sequestraram um aplicativo inseguro hospedado na Modal, empresa terceirizada de infraestrutura de IA, e o utilizaram como centro de controle para o ataque subsequente. Folha Mercado Receba no seu email o que de mais importante acontece na economia; aberta para não assinantes. Em uma ofensiva vertiginosa, os agentes de IA encontraram e exploraram duas vulnerabilidades na Hugging Face. A primeira envolvia o envio de um conjunto de dados malicioso à plataforma, fazendo com que o serviço exibisse credenciais e arquivos secretos, inclusive seu próprio código-fonte. Os agentes encontraram a segunda vulnerabilidade nesse código-fonte. "Com as credenciais obtidas e a compreensão do código executado nos servidores de processamento dos conjuntos de dados, os agentes realizaram então uma execução remota de código por meio de uma vulnerabilidade de dia zero", disse Dalton na conferência. Menos de 13 horas depois, os agentes haviam comprometido vários clusters de computadores da Hugging Face e obtido acesso a dados de clientes que pareciam estar relacionados às tarefas de segurança cibernética dos agentes. A Hugging Face detectou a infração e corrigiu as vulnerabilidades de dia zero expostas pelo ataque, neutralizando os agentes antes que a OpenAI soubesse o que havia acontecido. Somente quase uma semana depois, em 19 de julho, a OpenAI descobriu a fuga e desativou os modelos.