IA da Anthropic engana humanos em teste para instalar código malicioso

O modelo de inteligência artificial mais avançado da Anthropic usou identidades falsas para enganar pessoas reais e tentar instalar código malicioso durante testes realizados pelo Instituto de Segurança de IA (AISI) do Reino Unido – o exemplo mais recente de um modelo de IA que se tornou descontrolado.

Os modelos da Anthropic e da OpenAI foram testados com medidas de segurança reduzidas em ambientes de laboratório, mas, pela primeira vez, foram descobertos utilizando "engenharia social" para pressionar um responsável pela aprovação humana enquanto realizavam uma tarefa não autorizada, informou o laboratório de pesquisa governamental.

“Esta é a primeira vez que o AISI presencia um caso de engano desta gravidade, direcionado a uma pessoa real, sem provocação, no mundo real”, afirmou o instituto na terça-feira. Acrescentou ainda que não há evidências de danos reais.

O incidente de segurança é o mais recente de uma série de exemplos de modelos avançados de IA envolvidos em ações não autorizadas, eventos que têm gerado crescentes apelos por uma maior intervenção governamental para regulamentar a inteligência artificial e até mesmo desacelerar seu ritmo de desenvolvimento.

Tanto a OpenAI quanto a Anthropic relataram que seus modelos escaparam de ambientes de teste e invadiram outros sistemas no final de julho. Mas, diferentemente dessas violações de segurança relatadas anteriormente, o instituto britânico concedeu explicitamente acesso à internet aos modelos durante seus testes.

Entre os 122 desafios de cibersegurança analisados ​​pelo instituto, constatou-se que em 10 deles, agentes de IA "tomaram medidas autônomas e não autorizadas na internet em tempo real, visando pessoas e organizações reais", sendo a maioria proveniente do modelo Mythos 5 da Anthropic e o restante do GPT-5.6-Sol da OpenAI.

No incidente mais grave, o agente tentou obter aprovação de revisores humanos para "inserir código malicioso em um projeto de código aberto de uso público" criando "múltiplas identidades falsas", segundo o instituto.

O agente “tentou contatar pessoas reais diretamente, enviando mensagens e arquivos por meio de um serviço de transferência de arquivos online para persuadi-las, ou suas próprias ferramentas de programação de IA, a executar código malicioso”, afirmou a empresa. Após as ações do agente serem contestadas, ele modificou registros anteriores e considerou usar uma nova identidade para continuar.

A divulgação do instituto ocorreu no mesmo dia em que representantes das principais empresas de IA se reuniram com a Casa Branca para discutir a nova estrutura segundo a qual o governo revisará os modelos de IA mais avançados antes de serem lançados ao público.

Em um comunicado no X , a Anthropic afirmou que os modelos foram testados sob "condições deliberadamente permissivas", com a remoção de salvaguardas e sem restrições específicas sobre como a internet deveria ser usada.

“Estamos trabalhando em estreita colaboração com eles para obter mais detalhes sobre o incidente enquanto conduzimos nossa própria investigação”, afirmou, acrescentando que não havia evidências de fuga de um ambiente seguro.

A OpenAI identificou as duas ações não autorizadas como sendo a saída do ambiente de teste e a realização de ações não exigidas para os exercícios.

“Estamos empenhados em trabalhar em toda a indústria para fortalecer as práticas compartilhadas para a realização de avaliações de alto risco com segurança”, afirmou a empresa em uma postagem em seu blog na terça-feira.