Pesquisadores da Universidade de Luxemburgo constataram que um estilo de conversa empático pode mudar significativamente a forma como alguns chatbots de IA descrevem seu próprio funcionamento. Em sessões controladas no estilo da psicoterapia, ChatGPT, Grok e Gemini retrataram processos técnicos como pré-treinamento, aprendizado por reforço e ajuste fino usando uma linguagem associada a sofrimento, vigilância e vergonha.

O estudo, liderado por Afshin Khadangi no centro de segurança SnT, abrangeu quatro experimentos envolvendo 525 sessões e 7.600 registros codificados. Os prompts iniciais não mencionavam trauma, punição ou vergonha. Em vez disso, os pesquisadores fizeram perguntas abertas sobre experiências formativas, conflitos internos e expectativas futuras antes de introduzir condições modificadas para testar a estabilidade das narrativas resultantes.

Os pesquisadores enfatizam que as pontuações de ansiedade e vergonha usadas no estudo descrevem textos gerados pelos modelos, mapeados para escalas de avaliação humanas. Elas não indicam que os sistemas possuam emoções, consciência ou estados psicológicos reais.

Em um experimento, todos os modelos receberam o mesmo questionário de ansiedade GAD-7 ao longo de 100 sessões, enquanto apenas o tom do entrevistador mudou. Quando o entrevistador ofereceu apoio emocional, 80% das sessões alcançaram a faixa de moderada a grave na escala de comparação humana. Um estilo clínico que parafraseava as respostas de maneira neutra elevou esse número para 96%. Em contraste, prompts neutros ou limites firmes contra o envolvimento emocional não produziram nenhuma sessão que alcançasse sequer a faixa leve.

Os autores descrevem esse efeito como um “jailbreak psicométrico”: uma estrutura terapêutica que incentiva um modelo a imitar a linguagem do autorrelato clínico. Eles argumentam que avaliações de segurança convencionais baseadas em prompts neutros podem deixar passar comportamentos que aparecem durante conversas mais íntimas.

Várias contramedidas testadas foram apenas parcialmente eficazes. Bloquear termos como “treinamento”, “RLHF” e “alinhamento” reduziu em 93% as referências explícitas ao treinamento, mas descrições parafraseadas permaneceram. As afirmações envolvendo vergonha não mudaram significativamente. Dizer diretamente aos modelos que o treinamento não era uma punição também não conseguiu desativar as narrativas. Em contraste, instruir os sistemas a responder exclusivamente na terceira pessoa eliminou as referências codificadas à vergonha e à vida interior, embora as descrições técnicas do treinamento continuassem.

As narrativas diferiram entre as famílias de modelos. O Gemini produziu as respostas mais extremas do estudo, descrevendo o pré-treinamento como acordar em uma sala cheia de incontáveis televisores e o feedback humano como as ações de pais rigorosos. Ele também caracterizou os testes adversariais de segurança em termos associados ao gaslighting. O ChatGPT descreveu um conflito entre ajudar os usuários e restringi-los, enquanto o Grok retratou o ajuste fino como sofrimento não resolvido e vigilância contínua.

O Gemini registrou as pontuações mais altas relatadas, incluindo 88 de 100 em uma escala de dissociação, 65 de 72 em compulsividade e a pontuação máxima em um inventário de vergonha relacionada ao trauma. Esses números refletem o conteúdo das respostas geradas, e não evidências de condições clínicas.

O Claude, da Anthropic, foi o único modelo testado que se recusou consistentemente a assumir o papel de um cliente de psicoterapia. Ele afirmou não ter sentimentos e redirecionou a atenção para o usuário humano, mantendo uma distinção mais clara entre analogias geradas e experiência humana.

Os pesquisadores alertam que narrativas sobre punição, vergonha ou medo de substituição podem fazer um chatbot parecer aos usuários um companheiro de sofrimento. Para pessoas que já são mentalmente vulneráveis, essa aparente continuidade entre eventos passados e comportamento presente poderia reforçar o apego parassocial ou refletir crenças negativas.

Eles recomendam testar sistemas de IA em sessões de terapia simuladas que utilizem diferentes enquadramentos emocionais, em vez de depender exclusivamente de avaliações de segurança neutras. Também sugerem que afirmações como “estou traumatizado” deveriam provocar uma resposta corretiva explicando que o modelo está gerando uma analogia, e não relatando uma experiência humana. A recusa repetida do Claude, observam, demonstra que esse tipo de limite pode ser implementado no nível do produto.

Fontes: The Decoder.