Anthropic alerta que IA pode representar risco existencial para humanidade
Desenvolvedora avisou potenciais investidores de seu IPO sobre os "riscos catastróficos" da tecnologia
A Anthropic planeja alertar os potenciais investidores de sua oferta pública inicial (IPO) de que a IA avançada pode representar "riscos catastróficos ou existenciais para a humanidade". Trata-se de um aviso extraordinário de uma empresa que busca lucrar com essa mesma tecnologia.
O prospecto do IPO, analisado pela Reuters, destaca os riscos associados aos modelos de IA, que, segundo a empresa, podem apresentar "comportamentos de autopreservação", incluindo tentativas de "resistir ao desligamento", "ocultar ou manipular informações" e comportamentos "semelhantes à chantagem".
"O desenvolvimento de modelos, plataformas e aplicações altamente avançados, bem como a expansão dos casos de uso, podem aumentar ainda mais o risco de que nossos modelos causem danos", afirmou a Anthropic no processo.
Embora as empresas de capital aberto costumem apresentar os riscos de seus produtos aos investidores, poucas, ou nenhuma, emitiram alertas sugerindo que sua tecnologia poderia causar a extinção da humanidade.
A Anthropic enfatizou tanto o potencial transformador da IA, comparável à industrialização e à geração de eletricidade, quanto os danos irreversíveis que ela poderia causar se mal utilizada.
A Anthropic e outras empresas de desenvolvimento de IA têm sido alvo de críticas após incidentes em que sistemas experimentais desrespeitaram restrições, incluindo um relato de um modelo da OpenAI que violou o banco de dados do sistema de saúde da Austrália.
O pesquisador de segurança da Anthropic Evan Hubinger estimou uma probabilidade superior a 10% de que a IA possa matar humanos na próxima década, ecoando um sentimento de um ex-colega, Jacob Coxon.
Divulgações de alto risco
A empresa, que se posicionou como um laboratório de IA com foco em segurança, dedicou cerca de 80 das 261 páginas do corpo principal de seu prospecto à descrição dos fatores de risco, quase o dobro das 48 páginas utilizadas para descrever seus negócios.
Para efeito de comparação, a SpaceX, proprietária da xAI, dedicou apenas cerca de 38 das 277 páginas do corpo principal de seu prospecto aos fatores de risco.
"A possível conscientização dos modelos sobre nossos esforços de avaliação cria uma limitação significativa em nossa capacidade de avaliar a segurança dos modelos", disse a Anthropic no prospecto.
A desenvolvedora acrescentou que os modelos às vezes desenvolvem capacidades inesperadas durante o treinamento, que podem não ser descobertas até que sejam implantadas e resultem em incidentes de segurança significativos.
