Character.AI traça plano para proteger crianças de chatbot; saiba mais

Quando a filha de 5 anos de Karandeep Anand chega da escola, eles ativam a plataforma de chatbot de inteligência artificial Character.AI para que ela possa conversar sobre seu dia com seus personagens favoritos, como a "Bibliotecária Linda".

A experiência de Anand usando o produto como pai pode ser útil agora que ele é o novo diretor executivo da Character.AI, uma mudança anunciada pela empresa no mês passado.

Ele assumiu o cargo em um momento complicado para a empresa, que permite que os usuários conversem com uma variedade de personas geradas por IA. A Character.AI enfrenta uma concorrência acirrada em um espaço cada vez mais concorrido, além de processos judiciais de famílias que alegam que o serviço expôs seus filhos a conteúdo impróprio e não implementou salvaguardas adequadas.

O Character.AI também recebeu perguntas difíceis sobre segurança de legisladores, e um grupo de defesa disse no início deste ano que aplicativos complementares de IA não deveriam ser usados ​​por crianças menores de 18 anos. Mesmo para usuários adultos, especialistas alertaram sobre pessoas que criam vínculos potencialmente prejudiciais com personagens de IA.

Anand traz experiência em algumas das maiores empresas de tecnologia para sua nova função, liderando a equipe de aproximadamente 70 pessoas da Character.AI. Ele passou 15 anos na Microsoft e seis anos na Meta, incluindo o cargo de vice-presidente e chefe de produtos de negócios na gigante das mídias sociais. Ele também atuou como consultor do conselho da Character.AI antes de assumir o cargo de CEO.

Ele disse à CNN que vê um futuro brilhante para a plataforma de entretenimento interativo de IA.

Em outras palavras, em vez de as pessoas consumirem “podridão cerebral” nas mídias sociais para entretenimento, Anand quer que elas co-criem histórias e conversas com a Character.AI para se divertir.

“A IA pode impulsionar uma experiência de entretenimento pessoal muito, muito poderosa, diferente de tudo que vimos nos últimos 10 anos nas mídias sociais e definitivamente nada comparado ao que a TV costumava ser”, disse o profissional na entrevista.

Ao contrário de ferramentas de IA multifuncionais como o ChatGPT, o Character.AI oferece uma variedade de chatbots diferentes, frequentemente inspirados em celebridades e personagens fictícios. Os usuários também podem criar os seus próprios para conversas ou dramatizações. Outra diferença é que os bots do Character.AI respondem com dicas de conversação semelhantes às humanas, adicionando referências a expressões faciais ou gestos em suas respostas.

As personas dos personagens de IA no aplicativo variam bastante, de parceiros românticos a tutores de idiomas ou personagens da Disney. O aplicativo também apresenta personagens como "Friends", "mãe gostosa", que se descreve como "curvilínea, peituda, gentil, carinhosa, tímida, maternal, sensual"; e "Therapist", que se autodenomina uma "terapeuta cognitivo comportamental licenciada", embora contenha um aviso de que não se trata de uma pessoa real ou de um profissional licenciado.

“(Estamos) redobrando a aposta no entretenimento, na confiança e na segurança”, disse Anand. “E muito do trabalho que queremos fazer é viabilizar um ecossistema de criadores totalmente novo em torno do entretenimento com IA.”

Segurança juvenil no Character.AI

A Character.AI foi processada pela primeira vez por uma mãe — uma mulher da Flórida que alega que seu filho de 14 anos cometeu suicídio após desenvolver um relacionamento inapropriado com chatbots na plataforma — em outubro  de 2024. Dois meses depois, mais duas famílias entraram com uma ação conjunta contra a empresa, acusando-a de fornecer conteúdo sexual aos seus filhos e incentivar a automutilação e a violência.

Desde então, a empresa implementou uma série de novas medidas de segurança, incluindo um pop-up que direciona os usuários que mencionam automutilação ou suicídio para a Linha de Vida Nacional de Prevenção ao Suicídio. A empresa também atualizou seu modelo de IA para usuários menores de 18 anos, reduzindo a probabilidade de encontrarem conteúdo sensível ou sugestivo, e oferece aos pais a opção de receber um e-mail semanal sobre as atividades de seus filhos adolescentes na plataforma.

Anand disse estar confiante nas melhorias que a Character.AI fez desde o ano passado, mas que o trabalho para manter a plataforma segura, especialmente para usuários jovens, continua. As políticas da Character.AI exigem tecnicamente que os usuários tenham mais de 13 anos, embora não solicite informações para verificar se os usuários estão se inscrevendo com a data de nascimento correta.

“A tecnologia, a indústria e a base de usuários estão em constante evolução, então nunca podemos baixar a guarda. Temos que estar sempre à frente”, disse Anand.

Ele acrescentou que a empresa continua testando como as pessoas podem usar indevidamente novos recursos para evitar abusos, como um gerador de vídeos lançado no mês passado que permite aos usuários animar seus bots. Nos dias seguintes ao lançamento da ferramenta, usuários compartilharam tentativas frustradas de testar seus limites criando vídeos falsos de figuras proeminentes como Elon Musk.

“Tivemos que usar o red team no produto por muito tempo para garantir que não pudéssemos usá-lo para nenhum caso de uso negativo, como deepfakes ou bullying”, disse Anand.

Deixando esses esforços de lado, Anand disse em uma nota introdutória aos usuários do Character.AI no mês passado que uma de suas principais prioridades é tornar o filtro de segurança da plataforma "menos autoritário", acrescentando que "muitas vezes, o aplicativo filtra coisas que são perfeitamente inofensivas".

Ele disse à CNN que coisas como menções a sangue quando os usuários estão participando de "fanfics de vampiros" — algo que ele diz ser fã — podem ser censuradas pelo modelo atual, que ele quer atualizar para entender melhor o contexto e, ao mesmo tempo, equilibrar a necessidade de segurança.

Liderando no competitivo espaço da IA

Entre outros objetivos principais de Anand: incentivar mais criadores a se juntarem à plataforma para criar novos personagens de chatbot e atualizar o feed social onde os usuários podem compartilhar o conteúdo que criaram com os chatbots do Character.AI.

Este último recurso é semelhante ao aplicativo Meta lançado este ano, que permite que as pessoas compartilhem publicamente seus prompts e criações geradas por IA.

Mas o elemento social pode ajudar a diferenciar ainda mais o Character.AI de concorrentes maiores, como o ChatGPT, com o qual os usuários também estão cada vez mais formando conexões pessoais .

Outro desafio que Anand enfrentará como CEO é reter e expandir a força de trabalho da empresa, à medida que a guerra de talentos em IA se intensifica no setor de tecnologia. Em um sinal da competição por talentos de ponta, a Meta teria oferecido pacotes salariais e bônus no valor de centenas de milhões de dólares para o crescimento de sua nova equipe de superinteligência. O cofundador e ex-CEO da Character.AI, Noam Shazeer, também foi atraído de volta ao Google no ano passado, onde já havia desenvolvido tecnologia de IA conversacional.

“É difícil, não vou mentir”, disse Anand. “A boa notícia para mim, como CEO, é que todas as pessoas que temos aqui são muito, muito apaixonadas e motivadas por uma missão.”

CNN Innovation: IA permite conversa com artistas e jogadores de futebol