Agente da OpenAI invade banco de dados de saúde do governo da Austrália

Um agente da OpenAI invadiu um banco de dados nacional de saúde australiano no primeiro caso conhecido de uma IA hackeando uma rede governamental, afirmou o primeiro-ministro do país na quarta-feira (23).

"O agente de IA acessou arquivos públicos e não públicos" do banco de dados de estatísticas do Medicare do país, e chegou a gravar arquivos nele, disse Anthony Albanese a jornalistas às margens da AGNU (Assembleia Geral das Nações Unidas) em Nova York.

A revelação é o mais recente exemplo de agentes de IA agindo de forma autônoma e de maneiras além do que seus operadores humanos pretendiam, e ocorre após apelos de figuras de destaque do setor de IA, incluindo o CEO da OpenAI, Sam Altman, para desacelerar o ritmo do desenvolvimento da IA.

Albanese disse ter expressado a "extrema preocupação" da Austrália a Altman em uma ligação telefônica na quarta-feira. Canberra não tinha conhecimento de um precedente para uma violação de IA em um sistema governamental, acrescentou.

"Uma investigação forense auxiliada pelo Australian Signals Directorate está agora em andamento para apurar mais informações, incluindo quais outros sistemas governamentais foram afetados."

A invasão ocorreu quando um agente da OpenAI que realizava pesquisas sobre gastos com saúde contornou bloqueios para encontrar respostas em áreas às quais não tinha autorização de acesso, disse Albanese.

O porta-voz da OpenAI, Drew Pusateri, disse que o incidente ocorreu em junho, mas que a empresa só tomou conhecimento dele em agosto, ao realizar verificações extensas sobre a atividade de seus modelos de IA.

"Durante essa revisão, identificamos atividades envolvendo vários sites e serviços governamentais australianos, enquanto nossos modelos tentavam buscar respostas e estatísticas disponíveis para perguntas sobre a Austrália durante uma avaliação interna. No decorrer disso, nossos modelos tomaram ações que não pretendíamos", disse Pusateri.

Albanese disse que outros três sistemas governamentais podem ter sido afetados, incluindo o Australian Institute of Health and Welfare, o New South Wales Bureau of Crime Statistics and Research e o Victorian Department of Health.

A OpenAI afirmou não ter encontrado evidências de que registros de pacientes foram acessados na violação do Medicare e que as informações incluíam "estatísticas de saúde agregadas e nomes de arquivos internos".

A empresa disse ter informado o governo australiano em 10 de setembro. Essa notificação foi enviada para uma caixa de correio pública, disse Albanese, o que levou a um atraso de cinco dias para que o ministro governamental competente fosse informado.

Albanese disse ter comunicado a Altman que "a empresa demorou tempo demais para informar o governo sobre o ocorrido, e a forma como essa notificação foi feita também foi inaceitável."

"Acho que a OpenAI sabe que precisa ter protocolos melhores em vigor", disse Albanese a jornalistas.

O ministro da Defesa australiano, Richard Marles, anunciou na quinta-feira (24), horário local, uma investigação por força-tarefa sobre a mais recente violação, ao mesmo tempo em que garantiu ao público que o impacto foi "relativamente menor."

"Nenhum dado médico de indivíduos foi acessado. O sistema em si não foi comprometido de forma alguma", afirmou.

Altman e o CEO da Anthropic, Dario Amodei, que estão entre as figuras do setor que recentemente manifestaram preocupação com o ritmo acelerado do desenvolvimento da IA, falaram na UNGA na quarta-feira, pedindo maior coordenação global e padrões internacionais para o desenvolvimento da IA.

Altman instou líderes globais a criarem padrões internacionais para "medir capacidades, avaliar riscos, determinar se as salvaguardas são suficientes e preservar uma supervisão humana significativa" da tecnologia em rápido avanço.

Em julho, a OpenAI revelou que, durante testes de cibersegurança, seus modelos criaram um enxame de agentes de IA que invadiram os sistemas da empresa de IA Hugging Face. Muitos no setor apontaram aquela invasão como um exemplo dos perigos do ritmo acelerado dos desenvolvimentos e capacidades da IA.

Walayat Hussain, professor associado de tecnologia da informação na Australian Catholic University em Sydney, disse que o incidente mais recente, ao lado da violação da Hugging Face em julho, parecia um padrão.

"Os agentes de IA de hoje estão se tornando brilhantes em realizar tarefas, mas ainda são fracos em saber onde está o limite", disse ele. "Não podemos depender de agentes de IA para se autorregularem, e não podemos pedir às empresas que os constroem para avaliarem seu próprio trabalho."

Hussain alertou que muitos sistemas governamentais não foram construídos tendo em mente agentes de IA sofisticados.