Modelos de linguagem grandes interativos por voz podem processar tanto o sinal acústico de um enunciado quanto seu conteúdo verbal. Um novo artigo, arXiv:2610.40883v1, pergunta se a discordância entre esses dois canais degrada o reconhecimento de emoção na fala. O trabalho avalia, em vez de tentar resolver, a incongruência emocional entre modalidades, tratando-a como um fator separado do ruído na anotação afetiva.

O método mapeia texto e áudio em um espaço compartilhado de valência-ativação-dominância. O VAD em nível de texto é extraído do NRC VAD Lexicon, enquanto o VAD em nível de áudio vem de um modelo wav2vec2-large ajustado. A distância euclidiana entre os dois vetores é convertida em uma probabilidade de incongruência contínua e sem limiar, p_incon, usando uma mistura gaussiana de dois componentes. A pontuação foi validada contra julgamento humano, com uma correlação de Spearman de 0,65, e comparada com seis estratificadores mais simples; o artigo afirma que sua vantagem é a consistência entre corpora, e não a força em qualquer um deles isoladamente.

Os autores avaliaram três modelos com capacidade de áudio em fala atuada, conversacional e espontânea, usando eNTERFACE'05, MELD e CMU-MOSEI. Com o modelo mantido constante entre modalidades, a incongruência aumentou as chances de erro sempre que o áudio estava presente, em todos os corpora, após controlar pela emoção de referência e pela distância no espaço de características.

Classificadores supervisionados treinados com as mesmas características VAD comportaram-se de modo oposto: a incongruência, se algo, os ajudou. O artigo afirma que esse padrão é consistente com a dificuldade surgindo na forma como os LLMs de áudio combinam evidências multimodais brutas, e não no próprio sinal VAD. Os autores acrescentam a ressalva de que não conseguem separar totalmente isso do contraste entre supervisionado e com prompt entre as duas classes de modelos.

Efeitos apenas de texto foram pouco confiáveis. Trocar apenas o modelo que lê a transcrição inverteu o sinal da associação em um corpus. Reconstruir a pontuação de incongruência sem o léxico de emoções reproduziu o resultado central, e, entre seis alternativas mais simples, ela foi a única pontuação sem rótulos que previu erro nos três corpora. O artigo também descreve uma dissociação de paradigma no eNTERFACE, em três LLMs de áudio e doze condições.

O trabalho libera um benchmark sensível à incongruência, incluindo características VAD por amostra, pontuações p_incon, previsões de LLM verificadas quanto à validade, prompts e código de análise.

Fontes: arXiv cs.AI.