I LLM audio commettono più errori emotivi quando parlato e testo sono in disaccordo

I modelli linguistici di grandi dimensioni interattivi tramite voce possono elaborare sia il segnale acustico di un enunciato sia il suo contenuto verbale. Un nuovo articolo, arXiv:2610.40883v1, si chiede se il disaccordo tra questi due canali degradi il riconoscimento delle emozioni dal parlato. Il lavoro valuta, anziché cercare di risolvere, l'incongruenza emotiva cross-modale, trattandola come un fattore separato dal rumore nell'annotazione affettiva.

Il metodo mappa testo e audio in uno spazio condiviso valenza-arousal-dominanza. Il VAD a livello di testo è tratto dal NRC VAD Lexicon, mentre il VAD a livello audio proviene da un modello wav2vec2-large messo a punto. La distanza euclidea tra i due vettori viene convertita in una probabilità di incongruenza continua e priva di soglia, p_incon, usando una miscela gaussiana a due componenti. Il punteggio è stato validato rispetto al giudizio umano, con una correlazione di Spearman di 0.65, e confrontato con sei stratificatori più semplici; l'articolo afferma che il suo vantaggio è la coerenza tra i corpus piuttosto che la forza in uno singolo.

Gli autori hanno valutato tre modelli con capacità audio su parlato recitato, conversazionale e spontaneo usando eNTERFACE'05, MELD e CMU-MOSEI. Mantenendo il modello costante tra le modalità, l'incongruenza ha aumentato le probabilità di errore ogni volta che l'audio era presente, in ogni corpus, dopo aver controllato per l'emozione di riferimento e per la distanza nello spazio delle caratteristiche.

I classificatori supervisionati addestrati sulle stesse caratteristiche VAD si sono comportati in modo opposto: l'incongruenza, semmai, li aiutava. L'articolo afferma che questo schema è coerente con la difficoltà che emerge nel modo in cui i LLM audio combinano le prove multimodali grezze, anziché nel segnale VAD stesso. Gli autori aggiungono un'avvertenza: non possono separare completamente questo dal contrasto tra le due classi di modelli, una supervisionata e l'altra guidata da prompt.

Gli effetti solo testuali non erano affidabili. Sostituendo solo il modello che legge la trascrizione si invertiva il segno dell'associazione su un corpus. Ricostruendo il punteggio di incongruenza senza il lessico delle emozioni si riproduceva il risultato centrale e, tra sei alternative più semplici, era l'unico punteggio senza etichette che prediceva l'errore in tutti e tre i corpus. L'articolo descrive anche una dissociazione di paradigma su eNTERFACE, attraverso tre LLM audio e dodici condizioni.

Il lavoro rilascia un benchmark consapevole dell'incongruenza, includendo caratteristiche VAD per campione, punteggi p_incon, previsioni LLM verificate per validità, prompt e codice di analisi.

Fonti: arXiv cs.AI.