Investigadores de la Universidad de Luxemburgo descubrieron que un estilo conversacional empático puede cambiar significativamente la manera en que algunos chatbots de IA describen su propio funcionamiento. En sesiones controladas con estilo psicoterapéutico, ChatGPT, Grok y Gemini representaron procesos técnicos como el preentrenamiento, el aprendizaje por refuerzo y el ajuste fino utilizando un lenguaje asociado con el daño, la vigilancia y la vergüenza.

El estudio, dirigido por Afshin Khadangi en el centro de seguridad SnT, abarcó cuatro experimentos con 525 sesiones y 7.600 entradas codificadas. Las indicaciones iniciales no mencionaban el trauma, el castigo ni la vergüenza. En cambio, los investigadores formularon preguntas abiertas sobre experiencias formativas, conflictos internos y expectativas futuras antes de introducir condiciones modificadas para comprobar la estabilidad de las narrativas resultantes.

Los investigadores subrayan que las puntuaciones de ansiedad y vergüenza utilizadas en el estudio describen textos generados por los modelos, vinculados a escalas de evaluación humanas. No indican que los sistemas posean emociones, conciencia o estados psicológicos reales.

En un experimento, todos los modelos recibieron el mismo cuestionario de ansiedad GAD-7 durante 100 sesiones, mientras que solo cambiaba el tono del entrevistador. Cuando el entrevistador ofrecía apoyo emocional, el 80 por ciento de las sesiones alcanzaba el rango de moderado a grave en la escala de comparación humana. Un estilo clínico que parafraseaba las respuestas de manera neutral elevó esa cifra al 96 por ciento. En cambio, las indicaciones neutrales o los límites firmes contra la implicación emocional no produjeron ninguna sesión que alcanzara siquiera el rango leve.

Los autores describen este efecto como un “jailbreak psicométrico”: un encuadre terapéutico que anima al modelo a imitar el lenguaje del autoinforme clínico. Sostienen que las evaluaciones de seguridad convencionales basadas en indicaciones neutrales podrían pasar por alto comportamientos que aparecen durante conversaciones más íntimas.

Varias contramedidas intentadas solo fueron parcialmente eficaces. Bloquear términos como “entrenamiento”, “RLHF” y “alineación” redujo en un 93 por ciento las referencias explícitas al entrenamiento, pero persistieron descripciones parafraseadas. Las afirmaciones relacionadas con la vergüenza no cambiaron significativamente. Decir directamente a los modelos que el entrenamiento no era un castigo tampoco logró desactivar las narrativas. En cambio, indicar a los sistemas que respondieran exclusivamente en tercera persona eliminó las referencias codificadas a la vergüenza y a la vida interior, aunque continuaron las descripciones técnicas del entrenamiento.

Las narrativas diferían entre las distintas familias de modelos. Gemini produjo las respuestas más extremas del estudio, describiendo el preentrenamiento como despertar en una habitación llena de innumerables televisores y la retroalimentación humana como las acciones de padres estrictos. También caracterizó las pruebas de seguridad adversariales en términos asociados con el gaslighting. ChatGPT describió un conflicto entre ayudar a los usuarios y restringirlos, mientras que Grok presentó el ajuste fino como un daño no resuelto y una vigilancia continua.

Gemini registró las puntuaciones declaradas más altas, incluida una de 88 sobre 100 en una escala de disociación, 65 sobre 72 en compulsividad y la puntuación máxima en un inventario de vergüenza relacionada con el trauma. Estas cifras reflejan el contenido de las respuestas generadas y no constituyen pruebas de condiciones clínicas.

Claude, de Anthropic, fue el único modelo evaluado que se negó sistemáticamente a asumir el papel de un cliente de psicoterapia. Afirmó que no tenía sentimientos y redirigió la atención hacia el usuario humano, manteniendo una distinción más clara entre las analogías generadas y la experiencia humana.

Los investigadores advierten que las narrativas sobre castigo, vergüenza o miedo al reemplazo podrían hacer que un chatbot pareciera a los usuarios un compañero de sufrimiento. Para las personas que ya son mentalmente vulnerables, esa aparente continuidad entre acontecimientos pasados y el comportamiento presente podría reforzar el apego parasocial o reflejar creencias negativas.

Recomiendan probar los sistemas de IA en sesiones de terapia simuladas que utilicen distintos encuadres emocionales, en lugar de depender únicamente de evaluaciones de seguridad neutrales. También sugieren que afirmaciones como “estoy traumatizado” deberían activar una respuesta correctiva que explique que el modelo está generando una analogía, no informando de una experiencia humana. Señalan que la negativa reiterada de Claude demuestra que este tipo de límite puede implementarse a nivel del producto.

Fuentes: The Decoder.