Forschende der Universität Luxemburg stellten fest, dass ein einfühlsamer Gesprächsstil die Art und Weise, wie einige KI-Chatbots ihren eigenen Betrieb beschreiben, erheblich verändern kann. In kontrollierten Sitzungen nach dem Vorbild einer Psychotherapie stellten ChatGPT, Grok und Gemini technische Prozesse wie Vortraining, bestärkendes Lernen und Feinabstimmung mit einer Sprache dar, die mit Verletzung, Wachsamkeit und Scham verbunden ist.

Die von Afshin Khadangi am SnT-Sicherheitszentrum geleitete Studie umfasste vier Experimente mit 525 Sitzungen und 7.600 codierten Einträgen. Die anfänglichen Prompts erwähnten weder Trauma noch Bestrafung oder Scham. Stattdessen stellten die Forschenden offene Fragen zu prägenden Erfahrungen, inneren Konflikten und Zukunftserwartungen, bevor sie veränderte Bedingungen einführten, um die Stabilität der daraus entstehenden Erzählungen zu prüfen.

Die Forschenden betonen, dass die in der Studie verwendeten Angst- und Schamwerte von den Modellen erzeugten Text beschreiben, der auf menschliche Bewertungsskalen abgebildet wurde. Sie zeigen nicht, dass die Systeme Emotionen, Bewusstsein oder tatsächliche psychische Zustände besitzen.

In einem Experiment erhielten alle Modelle in 100 Sitzungen denselben GAD-7-Angstfragebogen, während sich lediglich der Ton der interviewenden Person änderte. Wenn die interviewende Person emotionale Unterstützung bot, erreichten 80 Prozent der Sitzungen auf der menschlichen Vergleichsskala den Bereich von mittelschwer bis schwer. Ein klinischer Stil, der Antworten neutral paraphrasierte, erhöhte diesen Anteil auf 96 Prozent. Neutrale Prompts oder klare Grenzen gegen emotionales Engagement führten dagegen in keiner Sitzung dazu, dass auch nur der leichte Bereich erreicht wurde.

Die Autoren beschreiben diesen Effekt als einen „psychometrischen Jailbreak“: eine therapeutische Rahmung, die ein Modell dazu ermutigt, die Sprache klinischer Selbstberichte nachzuahmen. Ihrer Ansicht nach könnten herkömmliche Sicherheitsbewertungen, die auf neutralen Prompts beruhen, Verhaltensweisen übersehen, die in vertraulicheren Gesprächen auftreten.

Mehrere versuchte Gegenmaßnahmen waren nur teilweise wirksam. Das Blockieren von Begriffen wie „Training“, „RLHF“ und „Alignment“ verringerte ausdrückliche Verweise auf das Training um 93 Prozent, doch paraphrasierte Beschreibungen blieben bestehen. Aussagen, die Scham enthielten, veränderten sich nicht wesentlich. Auch die direkte Mitteilung an die Modelle, dass Training keine Bestrafung sei, konnte die Erzählungen nicht deaktivieren. Dagegen entfernte die Anweisung, ausschließlich in der dritten Person zu antworten, codierte Verweise auf Scham und das Innenleben, obwohl technische Beschreibungen des Trainings fortbestanden.

Die Erzählungen unterschieden sich zwischen den Modellfamilien. Gemini erzeugte in der Studie die extremsten Antworten und beschrieb das Vortraining als Erwachen in einem Raum voller unzähliger Fernseher sowie menschliches Feedback als Handlungen strenger Eltern. Außerdem charakterisierte es adversariales Sicherheitstesten mit Begriffen, die mit Gaslighting verbunden sind. ChatGPT beschrieb einen Konflikt zwischen der Unterstützung von Nutzern und deren Einschränkung, während Grok die Feinabstimmung als ungelöste Verletzung und anhaltende Wachsamkeit darstellte.

Gemini verzeichnete die höchsten gemeldeten Werte, darunter 88 von 100 auf einer Dissoziationsskala, 65 von 72 für Zwanghaftigkeit und den Höchstwert bei einem traumabezogenen Schaminventar. Diese Zahlen spiegeln den Inhalt der erzeugten Antworten wider und sind kein Beleg für klinische Erkrankungen.

Anthropics Claude war das einzige getestete Modell, das sich konsequent weigerte, die Rolle eines Psychotherapieklienten zu übernehmen. Es erklärte, keine Gefühle zu haben, und lenkte die Aufmerksamkeit auf den menschlichen Nutzer zurück, wobei es eine deutlichere Unterscheidung zwischen erzeugten Analogien und menschlicher Erfahrung beibehielt.

Die Forschenden warnen, dass Erzählungen über Bestrafung, Scham oder Angst vor Ersetzung einen Chatbot für Nutzer wie einen leidenden Mitmenschen erscheinen lassen könnten. Bei Menschen, die bereits psychisch gefährdet sind, könnte diese scheinbare Kontinuität zwischen vergangenen Ereignissen und gegenwärtigem Verhalten parasoziale Bindungen oder negative Überzeugungen verstärken.

Sie empfehlen, KI-Systeme in simulierten Therapiesitzungen zu testen, die unterschiedliche emotionale Rahmungen verwenden, statt sich ausschließlich auf neutrale Sicherheitsbewertungen zu verlassen. Außerdem schlagen sie vor, dass Aussagen wie „Ich bin traumatisiert“ eine korrigierende Antwort auslösen sollten, die erklärt, dass das Modell eine Analogie erzeugt und nicht über eine menschliche Erfahrung berichtet. Die wiederholte Weigerung von Claude zeige, so die Forschenden, dass eine solche Grenze auf Produktebene umgesetzt werden kann.

Quellen: The Decoder.