Los sistemas de IA médica suelen tener dificultades con preguntas complejas incluso cuando emplean varios agentes para debatir posibles respuestas. Un nuevo estudio propone adaptar esos equipos a medida que avanza el razonamiento: un «Challenger» externo revisa la discusión, identifica lagunas concretas y ayuda a orientar la recuperación específica de pruebas o la incorporación de un especialista.

Los investigadores evaluaron el método con 862 preguntas complejas de nueve conjuntos de datos biomédicos del benchmark MedAgentsBench. Recuperar pruebas antes de que comenzara la discusión ofreció pocos beneficios, mientras que hacerlo entre rondas de razonamiento en respuesta a una laguna identificada dio mejores resultados. En un sistema con varios especialistas, este método mejoró la precisión en ocho de los nueve conjuntos de datos y obtuvo una puntuación seis puntos porcentuales superior a la del Challenger sin recuperación de pruebas.

El estudio también analizó si un equipo debería incorporar a otro especialista cuando detecta una laguna en sus conocimientos. La incorporación activada por el propio equipo —en la que los agentes deciden por sí mismos que necesitan otra perspectiva— no fue fiable. La incorporación guiada por el Challenger mejoró la precisión de GPT-4.1-mini en MedQA del 46 % al 54 %, y los resultados también mostraron una tendencia positiva en los demás conjuntos de datos de generalización evaluados.

Combinar la recuperación de pruebas y la incorporación de especialistas sin coordinarlas redujo el rendimiento. Los autores afirman que esto pone de relieve la importancia de gestionar la interacción entre ambas intervenciones, en lugar de simplemente añadirlas a un sistema. Sus resultados sugieren que el momento y el motivo para recurrir a conocimientos o experiencia externos son decisiones de diseño importantes para el razonamiento médico multiagente.

El trabajo utiliza preguntas médicas de opción múltiple como prueba controlada y señala que el benchmark no representa plenamente la toma de decisiones en un hospital. El Challenger identifica puntos débiles en la discusión, pero no aporta por sí mismo la información médica que falta; otros componentes se encargan de la recuperación de pruebas o de la incorporación de especialistas.

Fuentes: arXiv cs.AI.