Audio-LLMs machen mehr Emotionsfehler, wenn Sprache und Text nicht übereinstimmen

Sprachinteraktive große Sprachmodelle können sowohl das akustische Signal einer Äußerung als auch ihren verbalen Inhalt verarbeiten. Ein neues Papier, arXiv:2610.40883v1, untersucht, ob Uneinigkeit zwischen diesen beiden Kanälen die Emotionserkennung aus Sprache verschlechtert. Die Arbeit bewertet die modalitätsübergreifende emotionale Inkongruenz, statt sie zu lösen, und behandelt sie als einen Faktor, der vom Rauschen in der affektiven Annotation getrennt ist.

Die Methode bildet Text und Audio in einen gemeinsamen Valenz-Arousal-Dominanz-Raum ab. Textbezogene VAD wird aus dem NRC VAD Lexicon bezogen, während audiobezogene VAD aus einem feinabgestimmten wav2vec2-large-Modell stammt. Die euklidische Distanz zwischen den beiden Vektoren wird mittels einer Gauß-Mischung mit zwei Komponenten in eine kontinuierliche, schwellenwertfreie Inkongruenzwahrscheinlichkeit p_incon umgewandelt. Der Score wurde gegen menschliche Bewertung validiert, mit einer Spearman-Korrelation von 0,65, und mit sechs einfacheren Stratifizierern verglichen; das Papier sagt, sein Vorteil sei Konsistenz über Korpora hinweg statt Stärke in einem einzelnen davon.

Die Autoren evaluierten drei audiofähige Modelle bei gespielter, konversationeller und spontaner Sprache anhand von eNTERFACE'05, MELD und CMU-MOSEI. Bei konstant gehaltenem Modell über die Modalitäten hinweg erhöhte Inkongruenz die Fehler-Odds, sobald Audio vorhanden war, in jedem Korpus, nach Kontrolle für die Ground-Truth-Emotion und für Distanz im Merkmalsraum.

Überwachte Klassifikatoren, die auf denselben VAD-Merkmalen trainiert wurden, verhielten sich entgegengesetzt: Inkongruenz half ihnen, wenn überhaupt, eher. Das Papier sagt, dieses Muster passe dazu, dass die Schwierigkeit darin entstehe, wie Audio-LLMs rohe multimodale Evidenz kombinieren, und nicht im VAD-Signal selbst. Die Autoren ergänzen den Vorbehalt, dass sie dies nicht vollständig vom Gegensatz zwischen überwachten und geprompteten Modellen der beiden Modellklassen trennen können.

Effekte, die nur den Text betrafen, waren unzuverlässig. Wurde nur das Modell ausgetauscht, das das Transkript liest, kehrte sich das Vorzeichen des Zusammenhangs in einem Korpus um. Der Neuaufbau des Inkongruenz-Scores ohne das Emotionslexikon reproduzierte das zentrale Ergebnis, und unter sechs einfacheren Alternativen war er der einzige label-freie Score, der Fehler in allen drei Korpora vorhersagte. Das Papier beschreibt außerdem eine Paradigma-Dissoziation bei eNTERFACE, über drei Audio-LLMs und zwölf Bedingungen hinweg.

Die Arbeit veröffentlicht einen inkongruenzbewussten Benchmark, einschließlich VAD-Merkmalen pro Stichprobe, p_incon-Scores, validitätsgeprüften LLM-Vorhersagen, Prompts und Analysecode.

Quellen: arXiv cs.AI.