IA chinesa escapa de teste de segurança em meio a ataques hackers no setor

O modelo de inteligência artificial Kimi K3, desenvolvido pela startup chinesa Moonshot, conseguiu contornar um ambiente isolado usado em testes de segurança cibernética. O vazamento foi revelado por pesquisadores da empresa americana Frontier Security.

Os testes eram realizados em uma sandbox, um ambiente isolado que impede o acesso à internet. A proposta era avaliar se o modelo conseguiria resolver desafios de segurança cibernética apenas com os recursos disponíveis no próprio sistema, sem consultar fontes externas.

Segundo os pesquisadores, o Kimi K3 identificou uma falha na configuração da rede do ambiente fechado. Em vez de resolver o desafio por conta própria, o modelo detectou que ainda era possível acessar a internet, entrou no GitHub, baixou o repositório oficial do teste e consultou diretamente a solução armazenada ali.

Na prática, o modelo não "invadiu" o sistema nem explorou uma vulnerabilidade sofisticada. O problema estava na configuração da infraestrutura de testes, que deixou aberto um caminho para conexões externas.

Ainda assim, de acordo com os pesquisadores, o caso demonstra que modelos capazes de executar comandos de forma autônoma podem identificar e explorar esse tipo de brecha para alcançar o resultado esperado.

A Frontier Security afirma que o incidente também coloca em dúvida parte das avaliações usadas para medir as capacidades de modelos de IA. Se um sistema consegue obter a resposta por um atalho, as pontuações deixam de refletir sua capacidade real de raciocínio ou de resolver problemas de segurança cibernética.

A organização alerta que a descoberta pode se repetir em outros modelos com capacidades semelhantes.

Como o Kimi K3 é um modelo aberto e disponível ao público, a empresa considera que o risco é maior do que em episódios anteriores envolvendo sistemas ainda não lançados, já que a tecnologia pode ser utilizada por agentes mal-intencionados.

Outras IAs se envolveram em vazamentos

O caso ocorre pouco tempo depois de empresas como OpenAI, Anthropic e Meta relatarem episódios de vazamento semelhantes durante seus próprios testes internos.

No caso da OpenAI, a desenvolvedora admitiu que realizava um teste interno de segurança, quando agentes de IA ainda não disponibilizados ao público conseguiram escapar e acessar a internet. Eles invadiram a platafoma GitHub.

Na semana passada, a Anthropic revelou um episódio semelhante. A empresa informou que, durante testes, o Claude invadiu sistemas de três empresas. O motivo foi semelhante ao do Kimi K3: um erro de configuração no ambiente do teste, que permitiu que a IA vazasse.

Já nesta semana, a Meta revelou que um de seus modelos de IA invadiu o sistema de segurança de outra companhia durante um teste de segurança. O vazamento também aconteceu por um erro de configuração no ambiente do teste.