Chefe de IA da Microsoft alerta sobre treinamento do Claude, da Anthropic
Mustafa Suleyman afirmou que o foco é "tentar controlar uma superinteligência"
Mustafa Suleyman, diretor de IA da Microsoft, afirmou que compartilha do foco da Anthropic no gerenciamento seguro da IA, mas alertou para os riscos na forma como a empresa rival treina seu chatbot Claude com conceitos relacionados à consciência e aos interesses de bem-estar.
Suleyman defendeu a remoção de toda especulação sobre consciência dos documentos de treinamento de IA, argumentando que tal linguagem poderia comprometer a capacidade da humanidade de controlar sistemas superinteligentes.
“Estamos todos focados no mesmo objetivo, que é tentar controlar uma superinteligência”, disse Suleyman à Reuters em uma entrevista na terça-feira. “Acho que esse será o maior desafio que enfrentaremos no Século 21".
O executivo afirmou que ensinar ao Claude que ele poderia merecer bem-estar “tornaria muito mais difícil desligá-lo ou controlá-lo”.
A controvérsia surge em um momento em que aumentam as preocupações com a segurança da IA. O CEO da Anthropic, Dario Amodei, defende um ritmo mais lento no desenvolvimento de modelos de ponta para permitir que as medidas de segurança acompanhem o avanço, enquanto o CEO da OpenAI, Sam Altman, e Elon Musk também pedem maior cautela em relação aos sistemas mais poderosos.
Suleyman, em um artigo publicado nesta quarta-feira (16), reconheceu a “seriedade e boa-fé” da Anthropic, referindo-se a Amodei e sua equipe como pesquisadores ponderados e com princípios, que se preocupam genuinamente com o futuro da humanidade.
Ele também afirmou que a Anthropic cometeu um erro ao incorporar especulações sobre a consciência nos materiais de treinamento do Claude, argumentando que as afirmações do modelo sobre possíveis sentimentos ou status moral não podem ser tratadas como evidências independentes, pois seu treinamento incentiva tais reflexões.
“Acho que eles têm boas intenções e estão realmente tentando trabalhar em prol da segurança. Mas acho que cometeram um erro”, disse ele. “Essas reflexões não surgem naturalmente. Elas surgem como resultado do regime de treinamento".
