Os sistemas de IA médica muitas vezes têm dificuldade com perguntas complexas, mesmo quando usam vários agentes para debater possíveis respostas. Um novo estudo propõe adaptar essas equipes à medida que o raciocínio avança: um “Desafiante” externo analisa a discussão, identifica lacunas específicas e ajuda a orientar a recuperação direcionada de evidências ou a inclusão de um especialista.

Os pesquisadores avaliaram a abordagem em 862 perguntas complexas de nove conjuntos de dados biomédicos do benchmark MedAgentsBench. Recuperar evidências antes do início da discussão trouxe poucos benefícios, enquanto recuperá-las entre as rodadas de raciocínio, em resposta a uma lacuna identificada, teve melhor desempenho. Em um sistema com vários especialistas, esse método melhorou a precisão em oito dos nove conjuntos de dados e obteve uma pontuação seis pontos percentuais superior à do uso do Desafiante sem recuperação de evidências.

O estudo também examinou se uma equipe deveria recrutar outro especialista ao se deparar com uma lacuna em sua própria expertise. O recrutamento iniciado pelos próprios agentes — quando eles decidem por conta própria que outra perspectiva é necessária — não foi confiável. O recrutamento orientado pelo Desafiante elevou de 46% para 54% a precisão do GPT-4.1-mini no MedQA, com resultados também seguindo uma tendência positiva nos outros conjuntos de dados de generalização testados.

A combinação de recuperação de evidências e recrutamento de especialistas sem coordenação reduziu o desempenho. Os autores afirmam que isso aponta para a importância de gerenciar a interação entre as duas intervenções, em vez de simplesmente acrescentar ambas a um sistema. Os resultados sugerem que o momento e o motivo para recorrer a conhecimentos ou especialização externos são escolhas importantes de projeto para o raciocínio médico multiagente.

O trabalho usa questões médicas de múltipla escolha como teste controlado e observa que o benchmark não representa plenamente a tomada de decisões em um hospital. O Desafiante identifica pontos fracos na discussão, mas não fornece por si só as informações médicas que faltam; componentes separados cuidam da recuperação de evidências ou do recrutamento de especialistas.

Fontes: arXiv cs.AI.