Los modelos de lenguaje grandes interactivos por voz pueden procesar tanto la señal acústica de un enunciado como su contenido verbal. Un nuevo artículo, arXiv:2610.40883v1, pregunta si la discrepancia entre esos dos canales degrada el reconocimiento de emociones en el habla. El trabajo evalúa, en lugar de intentar resolver, la incongruencia emocional entre modalidades, y la trata como un factor separado del ruido en la anotación afectiva.
El método mapea texto y audio a un espacio compartido de valencia-activación-dominancia. El VAD a nivel de texto se toma del NRC VAD Lexicon, mientras que el VAD a nivel de audio proviene de un modelo wav2vec2-large ajustado. La distancia euclidiana entre los dos vectores se convierte en una probabilidad de incongruencia continua y libre de umbral, p_incon, mediante una mezcla gaussiana de dos componentes. La puntuación se validó frente al juicio humano, con una correlación de Spearman de 0,65, y se comparó con seis estratificadores más simples; el artículo afirma que su ventaja es la consistencia entre corpus más que la fuerza en uno cualquiera.
Los autores evaluaron tres modelos con capacidad de audio en habla actuada, conversacional y espontánea usando eNTERFACE'05, MELD y CMU-MOSEI. Manteniendo el modelo constante entre modalidades, la incongruencia aumentó las probabilidades de error siempre que había audio, en todos los corpus, tras controlar por la emoción de referencia y por la distancia en el espacio de características.
Los clasificadores supervisados entrenados con las mismas características VAD se comportaron de manera opuesta: la incongruencia, si acaso, les ayudaba. El artículo dice que este patrón es consistente con que la dificultad surge en cómo los LLM de audio combinan la evidencia multimodal bruta, y no en la señal VAD en sí. Los autores añaden una advertencia: no pueden separar del todo esto del contraste entre supervisado y prompting entre las dos clases de modelos.
Los efectos exclusivos del texto no fueron fiables. Cambiar únicamente el modelo que lee la transcripción invirtió el signo de la asociación en un corpus. Reconstruir la puntuación de incongruencia sin el léxico de emociones reprodujo el resultado central y, entre seis alternativas más simples, fue la única puntuación sin etiquetas que predijo el error en los tres corpus. El artículo también describe una disociación de paradigma en eNTERFACE, a través de tres LLM de audio y doce condiciones.
El trabajo publica un benchmark que tiene en cuenta la incongruencia, e incluye características VAD por muestra, puntuaciones p_incon, predicciones de LLM verificadas por validez, prompts y código de análisis.
Fuentes: arXiv cs.AI.