Les grands modèles de langage interactifs vocaux peuvent traiter à la fois le signal acoustique d’un énoncé et son contenu verbal. Un nouvel article, arXiv:2610.40883v1, demande si un désaccord entre ces deux canaux dégrade la reconnaissance des émotions dans la parole. Les travaux évaluent, plutôt que tentent de résoudre, l’incongruence émotionnelle intermodale, en la traitant comme un facteur distinct du bruit dans l’annotation affective.

La méthode projette le texte et l’audio dans un espace partagé valence-activation-domination. La VAD au niveau du texte provient du NRC VAD Lexicon, tandis que la VAD au niveau de l’audio provient d’un modèle wav2vec2-large affiné. La distance euclidienne entre les deux vecteurs est convertie en une probabilité d’incongruence continue et sans seuil, p_incon, à l’aide d’un mélange gaussien à deux composantes. Le score a été validé par rapport au jugement humain, avec une corrélation de Spearman de 0,65, et comparé à six stratificateurs plus simples ; l’article indique que son avantage réside dans sa cohérence entre les corpus plutôt que dans sa force sur un corpus donné.

Les auteurs ont évalué trois modèles capables de traiter l’audio sur de la parole jouée, conversationnelle et spontanée à l’aide d’eNTERFACE'05, MELD et CMU-MOSEI. Le modèle étant maintenu constant entre les modalités, l’incongruence augmentait les chances d’erreur chaque fois que l’audio était présent, dans tous les corpus, après contrôle de l’émotion de référence et de la distance dans l’espace des caractéristiques.

Les classificateurs supervisés entraînés sur les mêmes caractéristiques VAD se comportaient de manière opposée : l’incongruence, le cas échéant, les aidait. L’article indique que ce schéma est cohérent avec le fait que la difficulté provient de la manière dont les LLM audio combinent des preuves multimodales brutes, plutôt que du signal VAD lui-même. Les auteurs ajoutent une réserve : ils ne peuvent pas totalement séparer cela du contraste entre modèles supervisés et modèles sollicités par invite qui distingue les deux classes de modèles.

Les effets purement textuels n’étaient pas fiables. Le remplacement du seul modèle qui lit la transcription a inversé le signe de l’association sur un corpus. La reconstruction du score d’incongruence sans le lexique d’émotions a reproduit le résultat central, et parmi six alternatives plus simples, il s’agissait du seul score sans étiquette qui prédisait l’erreur dans les trois corpus. L’article décrit également une dissociation de paradigme sur eNTERFACE, à travers trois LLM audio et douze conditions.

Les travaux mettent à disposition un benchmark tenant compte de l’incongruence, comprenant des caractéristiques VAD par échantillon, des scores p_incon, des prédictions de LLM contrôlées quant à leur validité, des invites et du code d’analyse.

Sources: arXiv cs.AI.