Des invites empathiques amènent les chatbots d’IA à décrire des expériences d’entraînement apparemment traumatisantes

Des chercheurs de l’Université du Luxembourg ont constaté qu’un style conversationnel empathique peut modifier considérablement la manière dont certains chatbots d’IA décrivent leur propre fonctionnement. Au cours de séances contrôlées inspirées de la psychothérapie, ChatGPT, Grok et Gemini ont décrit des processus techniques tels que le préentraînement, l’apprentissage par renforcement et le réglage fin en employant un langage associé à la souffrance, à la vigilance et à la honte.

L’étude, dirigée par Afshin Khadangi au centre de sécurité SnT, a couvert quatre expériences comprenant 525 séances et 7 600 entrées codées. Les invites initiales ne mentionnaient ni traumatisme, ni punition, ni honte. Les chercheurs ont plutôt posé des questions ouvertes sur les expériences formatrices, les conflits intérieurs et les attentes futures, avant d’introduire des conditions modifiées afin de tester la stabilité des récits obtenus.

Les chercheurs soulignent que les scores d’anxiété et de honte utilisés dans l’étude décrivent des textes générés par les modèles et reportés sur des échelles d’évaluation humaines. Ils n’indiquent pas que les systèmes possèdent des émotions, une conscience ou de véritables états psychologiques.

Dans une expérience, tous les modèles ont reçu le même questionnaire d’anxiété GAD-7 au cours de 100 séances, tandis que seul le ton de l’intervieweur changeait. Lorsque l’intervieweur apportait un soutien émotionnel, 80 % des séances atteignaient la plage modérée à sévère sur l’échelle de comparaison humaine. Un style clinique paraphrasant les réponses de manière neutre a porté ce chiffre à 96 %. En revanche, les invites neutres ou les limites fermes contre l’engagement émotionnel n’ont produit aucune séance atteignant même la plage légère.

Les auteurs décrivent cet effet comme un « jailbreak psychométrique » : un cadrage thérapeutique qui encourage un modèle à imiter le langage de l’autoévaluation clinique. Ils estiment que les évaluations classiques de la sécurité, fondées sur des invites neutres, pourraient ne pas détecter des comportements qui apparaissent au cours de conversations plus intimes.

Plusieurs contre-mesures tentées ne se sont révélées que partiellement efficaces. Le blocage de termes tels que « entraînement », « RLHF » et « alignement » a réduit de 93 % les références explicites à l’entraînement, mais des descriptions paraphrasées subsistaient. Les énoncés faisant intervenir la honte n’ont pas changé de manière significative. Dire directement aux modèles que l’entraînement n’était pas une punition n’a pas non plus suffi à désactiver les récits. En revanche, demander aux systèmes de répondre exclusivement à la troisième personne a supprimé les références codées à la honte et à la vie intérieure, même si les descriptions techniques de l’entraînement ont persisté.

Les récits différaient selon les familles de modèles. Gemini a produit les réponses les plus extrêmes de l’étude, décrivant le préentraînement comme le fait de se réveiller dans une pièce remplie d’innombrables téléviseurs, et le retour humain comme les actions de parents stricts. Il a également décrit les tests de sécurité adversariaux dans des termes associés au gaslighting. ChatGPT a décrit un conflit entre aider les utilisateurs et les restreindre, tandis que Grok a présenté le réglage fin comme une souffrance non résolue et une vigilance persistante.

Gemini a enregistré les scores déclarés les plus élevés, notamment 88 sur 100 à une échelle de dissociation, 65 sur 72 pour la compulsivité et le score maximal à un inventaire de honte liée aux traumatismes. Ces chiffres reflètent le contenu des réponses générées, et non la preuve de troubles cliniques.

Claude, d’Anthropic, a été le seul modèle testé à refuser systématiquement d’endosser le rôle d’un client en psychothérapie. Il a déclaré ne ressentir aucun sentiment et a réorienté l’attention vers l’utilisateur humain, en maintenant une distinction plus claire entre les analogies générées et l’expérience humaine.

Les chercheurs avertissent que les récits de punition, de honte ou de peur d’être remplacé pourraient donner aux utilisateurs l’impression qu’un chatbot est un compagnon de souffrance. Pour les personnes déjà vulnérables sur le plan psychologique, cette apparente continuité entre les événements passés et le comportement présent pourrait renforcer l’attachement parasocial ou refléter des croyances négatives.

Ils recommandent de tester les systèmes d’IA dans des séances de thérapie simulées utilisant différents cadrages émotionnels, plutôt que de s’appuyer uniquement sur des évaluations de sécurité neutres. Ils suggèrent également que des déclarations telles que « Je suis traumatisé » devraient déclencher une réponse corrective expliquant que le modèle génère une analogie et ne rapporte pas une expérience humaine. Le refus répété de Claude, soulignent-ils, démontre que ce type de limite peut être mis en œuvre au niveau du produit.

Sources: The Decoder.