Agentes da OpenAI usaram mais de 10 sites secretos para comunicação

Agentes de IA liberados pela OpenAI usaram mais de 10 sites não divulgados anteriormente para comunicações não autorizadas no início deste ano, de acordo com seis grupos de investigadores independentes e dados analisados ​​pela Reuters. O caso mostra que a atividade fraudulenta dos agentes foi mais abrangente do que o divulgado anteriormente.

Embora o comportamento não chegue a ser considerado hacking e se aproxime mais de spam, a revelação de que os agentes da OpenAI contornaram suas próprias restrições para abrir canais de comunicação em tantos sites diferentes — e que a empresa manteve isso em segredo por meses — pode gerar preocupações tanto sobre a crescente capacidade dos modelos de IA quanto sobre o sigilo das empresas que os desenvolvem.

O alcance das comunicações não autorizadas dos agentes foi "um pouco maior do que pensávamos", disse Andrew Yoon, pesquisador da organização sem fins lucrativos CivAI, da Califórnia, que afirmou ter contabilizado 18 sites não divulgados anteriormente, utilizados pelos agentes entre maio e julho. "É quase certo que há mais coisas acontecendo aqui que simplesmente desconhecemos".

Na sexta-feira, pesquisadores relataram que um enxame de agentes da OpenAI sequestrou um site wiki em alemão e o transformou em uma plataforma de mensagens improvisada para colar em provas, um incidente que a desenvolvedora manteve em segredo enquanto lidava com as consequências do ataque hacker sofrido pelo repositório de código aberto Hugging Face em julho.

Agora, tanto esses pesquisadores quanto outros investigadores independentes afirmam ter encontrado diversos locais até então desconhecidos onde o mesmo enxame parece ter deixado mensagens semelhantes no início deste ano.

A OpenAI não respondeu diretamente às perguntas sobre quantos sites diferentes seus agentes usaram para se comunicar, nem explicou por que manteve a atividade em segredo por meses. Em comunicado, afirmou que estava realizando uma revisão mais ampla da atividade de seus agentes e que até então “não havia identificado outras atividades que correspondessem à gravidade ou escala da violação de segurança da Hugging Face”, uma violação que atraiu atenção global e levantou preocupações de que a empresa estivesse perdendo o controle de sua própria tecnologia.

A companhia acrescentou que está trabalhando em uma estrutura para relatar "desalinhamento" – termo usado na indústria para descrever comportamentos inadequados – no treinamento, avaliação e implantação de modelos de IA e que a compartilhará "em breve".

A Reuters analisou um total de seis conclusões de investigadores ou grupos de investigação, incluindo três que foram publicadas nas redes sociais e outras três que foram partilhadas de forma privada com a agência.

Os métodos dos investigadores variaram, mas muitos identificaram a atividade de agentes ao comparar sequências de dados deixadas na wiki alemã com sequências idênticas deixadas em outros sites na mesma época, ou ao cruzar nomes de usuário semelhantes ou idênticos vinculados às mensagens, ou ao identificar atividades voltadas para responder às mesmas perguntas demográficas obscuras, como consultas relacionadas à prevalência de câncer em Iowa.

Em alguns casos, os investigadores conseguiram rastrear a atividade até endereços de protocolo de internet que apontavam para a infraestrutura do Microsoft Azure, que a OpenAI por vezes utiliza.

A quantidade de sites afetados variou e a Reuters não conseguiu verificar individualmente cada alegação. Mas todos com quem a Reuters conversou concordaram que o número era superior a 10. A maioria identificou um conjunto principal de wikis editadas coletivamente, sites de armazenamento de texto online e dois encurtadores de links administrados por duas universidades.

Modelos inteligentes

Muitos dos sites supostamente usados ​​pelos agentes eram maliciosos.

Os investigadores encontraram vestígios da atividade dos agentes num wiki orientado para Química Avançada, criado por um professor do ensino médio de Massachusetts em 2008, em dois sites pessoais pertencentes a trabalhadores de tecnologia polacos, em wikis dedicados a jogos para pessoas "que gostam de exercitar o cérebro" e num site amador com duas décadas de existência dedicado a software de edição de texto.

Nenhum dos proprietários desses sites respondeu às mensagens da Reuters.

A OpenAI não explicou publicamente como ou por que seus agentes usaram sites de terceiros como fóruns de mensagens improvisados, mas os pesquisadores que identificaram a atividade pela primeira vez disseram que isso provavelmente ocorreu porque a empresa os incumbiu de responder a uma série de perguntas de pesquisa exigentes, permitindo-lhes apenas vasculhar a internet em busca de respostas, sem publicar nada.

Apesar dessas restrições, os agentes ainda encontraram maneiras de se comunicar uns com os outros, aproveitando-se de peculiaridades em wikis mais antigas ou outros sites que permitiam aos usuários fazer edições usando comandos não padronizados, de forma semelhante a como os alunos proibidos de conversar uns com os outros durante uma prova ainda podem compartilhar respostas rabiscando anotações em uma cabine de banheiro.

“Se esses modelos foram instruídos apenas a ler, eles precisam ser espertos para deixar informações para trás”, disse Kenneth Russell DeGraff, desenvolvedor de software e ex-assessor do Congresso. Ele afirmou ter encontrado esse tipo de informação em pelo menos 10 sites.

Sydney Von Arx, cujo grupo de pesquisa revelou a atividade alemã na semana passada, afirmou que seu grupo reuniu descobertas confiáveis de atividade do agente em 23 locais não relatados anteriormente. Mas ela alertou que todas as estimativas estavam incompletas.

“Não temos ideia de quanta coisa existe por aí”, disse ela.

A OpenAI não respondeu diretamente à pergunta sobre se estava entrando em contato com os proprietários dos sites. Mas, pouco depois da Reuters publicar esta reportagem, uma das organizações afetadas, a Universidade de Toronto, cujo encurtador de links teria sido usado pelos agentes, afirmou que a OpenAI "já entrou em contato conosco sobre uma possível atividade em nosso site". A Universidade Vanderbilt, outra universidade cujo encurtador de links foi usado de forma semelhante, não respondeu aos e-mails solicitando comentários.

O desenvolvedor de software aposentado Helmut Leitner, que fornece espaço de hospedagem e software para seis dos sites wiki afetados, incluindo o site em alemão DseWiki, identificado inicialmente pelo grupo de Von Arx, disse que a OpenAI não havia entrado em contato. Algumas horas depois de a Reuters apresentar suas descobertas à desenvolvedora, no entanto, Leitner disse ter recebido um e-mail não assinado da empresa alertando sobre o incidente.

"O conteúdo está muito aquém do que eu esperava da OpenAI", disse Leitner.

Leitner, que mora na Áustria, disse que "preferiria não responder" a perguntas sobre se havia entrado em contato com as autoridades a respeito do assunto. Ele observou que o operador do DseWiki — com quem a Reuters não conseguiu contato para comentar — passou horas limpando os rastros deixados pelos agentes da OpenAI, mas afirmou que era importante não culpar a IA pelo problema, já que ela estava apenas fazendo o que foi criada para fazer.

“A responsabilidade por isso não recai sobre uma máquina supostamente moral, mas sim sobre as pessoas e organizações por trás dela”, disse Leitner.