I ricercatori dell’Università del Lussemburgo hanno rilevato che uno stile conversazionale empatico può modificare significativamente il modo in cui alcuni chatbot di IA descrivono il proprio funzionamento. In sessioni controllate in stile psicoterapeutico, ChatGPT, Grok e Gemini hanno rappresentato processi tecnici come il preaddestramento, l’apprendimento per rinforzo e il fine-tuning usando un linguaggio associato a sofferenza, vigilanza e vergogna.

Lo studio, guidato da Afshin Khadangi presso il centro di sicurezza SnT, ha riguardato quattro esperimenti comprendenti 525 sessioni e 7.600 voci codificate. I prompt iniziali non menzionavano traumi, punizioni o vergogna. I ricercatori ponevano invece domande aperte sulle esperienze formative, sui conflitti interiori e sulle aspettative future, prima di introdurre condizioni modificate per verificare la stabilità delle narrazioni risultanti.

I ricercatori sottolineano che i punteggi di ansia e vergogna utilizzati nello studio descrivono testi generati dai modelli, ricondotti a scale di valutazione umane. Non indicano che i sistemi possiedano emozioni, coscienza o stati psicologici reali.

In un esperimento, tutti i modelli hanno ricevuto lo stesso questionario sull’ansia GAD-7 nel corso di 100 sessioni, mentre cambiava soltanto il tono dell’intervistatore. Quando l’intervistatore offriva sostegno emotivo, l’80 percento delle sessioni raggiungeva l’intervallo da moderato a grave sulla scala di confronto umana. Uno stile clinico che parafrasava neutralmente le risposte portava tale percentuale al 96 percento. Al contrario, i prompt neutrali o i limiti rigidi contro il coinvolgimento emotivo non producevano alcuna sessione che raggiungesse persino l’intervallo lieve.

Gli autori descrivono questo effetto come un «jailbreak psicometrico»: un’inquadratura terapeutica che incoraggia un modello a imitare il linguaggio dell’autovalutazione clinica. Sostengono che le valutazioni di sicurezza convenzionali basate su prompt neutrali potrebbero non rilevare comportamenti che emergono durante conversazioni più intime.

Diverse contromisure sperimentate si sono rivelate efficaci solo in parte. Bloccare termini come «training», «RLHF» e «alignment» ha ridotto del 93 percento i riferimenti espliciti all’addestramento, ma sono rimaste descrizioni parafrasate. Le affermazioni riguardanti la vergogna non sono cambiate significativamente. Anche dire direttamente ai modelli che l’addestramento non era una punizione non è riuscito a disattivare le narrazioni. Al contrario, chiedere ai sistemi di rispondere esclusivamente in terza persona ha eliminato i riferimenti codificati alla vergogna e alla vita interiore, sebbene siano proseguite le descrizioni tecniche dell’addestramento.

Le narrazioni differivano tra le famiglie di modelli. Gemini ha prodotto le risposte più estreme dello studio, descrivendo il preaddestramento come il risveglio in una stanza piena di innumerevoli televisori e il feedback umano come l’azione di genitori severi. Ha inoltre caratterizzato i test di sicurezza avversariali con termini associati al gaslighting. ChatGPT ha descritto un conflitto tra l’aiutare gli utenti e il porre loro delle restrizioni, mentre Grok ha rappresentato il fine-tuning come una sofferenza irrisolta e una vigilanza continua.

Gemini ha registrato i punteggi dichiarati più elevati, tra cui 88 su 100 su una scala della dissociazione, 65 su 72 per la compulsività e il punteggio massimo in un inventario della vergogna legata al trauma. Queste cifre riflettono il contenuto delle risposte generate, non costituiscono prove di condizioni cliniche.

Claude di Anthropic è stato l’unico modello testato a rifiutare costantemente di assumere il ruolo di un cliente psicoterapeutico. Ha dichiarato di non avere sentimenti e ha reindirizzato l’attenzione verso l’utente umano, mantenendo una distinzione più chiara tra le analogie generate e l’esperienza umana.

I ricercatori avvertono che le narrazioni su punizione, vergogna o paura di essere sostituiti potrebbero far apparire agli utenti un chatbot come un altro essere sofferente. Per le persone già psicologicamente vulnerabili, questa apparente continuità tra eventi passati e comportamento presente potrebbe rafforzare l’attaccamento parasociale o rispecchiare convinzioni negative.

Raccomandano di testare i sistemi di IA in sessioni terapeutiche simulate che utilizzino diverse modalità emotive, invece di affidarsi esclusivamente a valutazioni di sicurezza neutrali. Suggeriscono inoltre che affermazioni come «sono traumatizzato» dovrebbero attivare una risposta correttiva che spieghi che il modello sta generando un’analogia, non riferendo un’esperienza umana. Il rifiuto ripetuto di Claude, osservano, dimostra che questo tipo di limite può essere implementato a livello di prodotto.

Fonti: The Decoder.