Avan�o da IA aumenta preocupa��o sobre uso de tecnologia na cria��o de armas biol�gicas

The New York Times | The New York Times Entre os temores crescentes relacionados à IA (inteligência artificial), uma ameaça tem se mostrado particularmente preocupante: a possibilidade de que a IA seja usada para criar uma nova geração de armas biológicas. Em abril, especialistas em biossegurança alertaram que era preocupantemente fácil obter orientações de chatbots sobre como tornar patógenos mais perigosos. Em junho, cientistas e executivos de empresas de IA assinaram uma carta aberta pedindo novos controles sobre a fabricação de DNA, já que a inteligência artificial pode acelerar o desenvolvimento de toxinas e vírus. Em agosto, cientistas relataram ter usado IA para criar vírus que não são encontrados na natureza. Na quinta-feira (10), a Anthropic anunciou que havia bloqueado várias tentativas de uso de seus modelos por pessoas que poderiam estar tentando transformar patógenos em armas. Especialistas discutem como limitar o uso da IA para reduzir riscos de novas armas biológicas - Joel Saget - 14.set.26/AFP Dario Amodei, presidente-executivo da Anthropic, reforçou no sábado (12) o pedido para desacelerar o desenvolvimento da IA, com uma série de propostas para tornar a tecnologia mais segura. Seria prudente, escreveu Amodei, proibir o "uso de IA para a produção de armas biológicas ou permitir que usuários façam isso". Esses acontecimentos podem dar a impressão de que agentes mal-intencionados agora são capazes de desencadear no mundo pandemias até então desconhecidas, graças à IA. Mas Drew Endy, biólogo sintético da Universidade Stanford que foi coautor de um relatório sobre biossegurança no ano passado, afirmou que os chatbots atuais, como o Claude, da Anthropic, não representam uma mudança radical na ameaça representada pelas armas biológicas. "Em termos do impacto líquido sobre nosso risco de biossegurança neste momento, considero-o modesto", disse. Isso pode mudar, acrescentou, à medida que cientistas desenvolvem modelos de IA especializados em pesquisa biológica.Esses modelos já conseguem gerar genomas de vírus viáveis que não existem na natureza. É possível imaginar que, no futuro, os modelos sejam capazes de usar esses novos genomas para criar novas armas. Uma arma biológica pode ser um vírus ou outro patógeno, como bactérias ou fungos, desenvolvido para ser lançado contra exércitos ou civis. Também pode assumir a forma de toxinas produzidas por organismos, como a toxina botulínica, produzida por bactérias, ou a ricina, encontrada na mamona. (Armas biológicas são diferentes de armas químicas, como gases nervosos, que são sintetizados por cientistas em laboratórios.) O Protocolo de Genebra proibiu a guerra biológica, mas as grandes potências continuaram a desenvolver armas desse tipo. Com o tempo, Estados Unidos e União Soviética acumularam enormes estoques, de bombas de antraz a balões carregados com fungos capazes de destruir plantações de trigo. Depois de assinar a Convenção sobre Armas Biológicas, em 1975, os Estados Unidos destruíram seus grandes estoques, mas continuaram estudando armas biológicas para desenvolver meios de defesa. A União Soviética realizou secretamente novas pesquisas com patógenos, como o vírus da varíola, para uma nova geração de armas biológicas. Tudo isso significa que a ameaça das armas biológicas era muito real muito antes de empresas como OpenAI e Anthropic existirem. Ainda assim, até onde se sabe publicamente, as armas biológicas provocaram poucas mortes desde a Segunda Guerra Mundial, por razões que continuam sem explicação clara. "Não sabemos o que foi tentado e fracassou, o que foi dissuadido ou o que era tecnologicamente difícil demais", disse o médico Thomas Inglesby, diretor do Centro Johns Hopkins para Segurança da Saúde. A ameaça continua existindo, acrescentou Inglesby, observando que alguém que tente criar armas biológicas hoje pode utilizar ferramentas poderosas que as gerações anteriores só poderiam imaginar. A síntese de DNA, por exemplo, ficou rápida e barata. Em 2016, cientistas canadenses relataram ter recriado o vírus da varíola equina, relacionado à varíola humana e que desapareceu da natureza nas últimas décadas. Agora, os chatbots podem consultar a literatura científica para responder a perguntas que alguém interessado em desenvolver armas biológicas faria. É uma tarefa na qual a IA pode ser especialmente eficiente, segundo Inglesby, fornecendo a agentes mal-intencionados muito mais informações do que eles conseguiriam reunir com simples buscas na internet. "Ela busca tornar a informação utilizável", disse, referindo-se à IA. "Permite que os usuários voltem atrás e avancem infinitas vezes para solucionar problemas e explicar algo com mais detalhes, ao mesmo tempo em que fornece os recursos técnicos adequados para dar suporte às informações." Endy afirmou estar satisfeito ao saber que a Anthropic monitora consultas em busca de motivações perigosas."Se eu tomar isso pelo que parece, a equipe da Anthropic está tentando agir como uma boa cidadã", disse. "Ela tem uma nova ferramenta e está tentando usá-la de maneira responsável." Os grandes modelos de linguagem desenvolvidos por empresas como a Anthropic são treinados com enormes quantidades de textos, incluindo registros de trabalhos realizados por gerações anteriores de cientistas. Eles podem ser capazes de recuperar essas informações rapidamente ou encontrar conexões entre descobertas anteriores que passaram despercebidas. Mas não possuem uma compreensão profunda da biologia além do que os pesquisadores já descobriram. Outros cientistas, porém, estão desenvolvendo novos modelos de IA que podem, até certo ponto, aprender biologia por conta própria. Em vez de livros e outros textos, esses modelos são treinados com dados brutos sobre DNA e células. Cientistas da Universidade Stanford e do Arc Institute desenvolveram um desses modelos, chamado Evo2, treinado com sequências de DNA de milhões de espécies. O Evo2 aprendeu padrões ocultos nos genes, permitindo a criação de novos tipos de enzimas. Isso levou os cientistas a se perguntarem se seria possível criar novos genomas capazes de sustentar vida. Os pesquisadores submeteram o Evo2 a uma etapa adicional de treinamento com genomas de um grupo de vírus estreitamente relacionados.Conhecidos como microvírus, eles são inofensivos para seres humanos e infectam apenas a bactéria Escherichia coli. O Evo2 produziu centenas de milhares de novos genomas de microvírus, 16 dos quais deram origem a vírus reais. Para proteger o Evo2, seus criadores não o treinaram com vírus que infectam seres humanos ou espécies relacionadas. Mas, em teoria, uma versão do Evo2 desenvolvida dessa maneira poderia produzir uma variação de vírus da varíola. As notícias desta semana sobre a Anthropic provocaram preocupações mais imediatas entre especialistas em biossegurança: as consultas em busca de informações sobre influenza e outros patógenos parecem ter vindo de laboratórios estatais, e não de biohackers agindo individualmente. "Como um estudante de doutorado pode usar um modelo individualmente para causar danos é apenas uma pequena parte do problema", disse Inglesby. Endy teme que, se governos começarem a usar IA para pesquisas de guerra biológica, isso possa ajudar a reacender uma corrida armamentista semelhante à ocorrida durante a Segunda Guerra Mundial. "Hoje vivemos em um mundo em que o Departamento de Estado dos EUA acusa Coreia do Norte e Rússia de manter programas e suspeita de Irã e China", disse. "E China e Rússia acusam os Estados Unidos. Isso não acontecia há dez anos." Endy e Inglesby concordam que há muito que pode ser feito para reduzir o risco de uma catástrofe. Os países já negociaram acordos sobre armas biológicas no passado e podem tentar fazer o mesmo agora. O governo Joe Biden estabeleceu regras para que empresas de síntese de DNA analisassem pedidos em busca de sequências suspeitas. O governo Donald Trump suspendeu essas regras no ano passado e ainda não estabeleceu novos padrões. Endy argumenta que é preciso fazer mais do que tentar impedir que uma arma biológica seja utilizada. "Precisamos nos antecipar a isso e proteger a biologia", disse.