Les systèmes d’IA médicale ont souvent du mal à répondre aux questions difficiles, même lorsqu’ils font appel à plusieurs agents pour débattre des réponses possibles. Une nouvelle étude propose d’adapter ces équipes au fil du raisonnement : un « Challenger » externe examine la discussion, repère des lacunes précises et contribue à orienter la recherche ciblée de données probantes ou à intégrer un spécialiste.

Les chercheurs ont évalué cette approche à partir de 862 questions difficiles issues de neuf jeux de données biomédicales du benchmark MedAgentsBench. La récupération de données probantes avant le début de la discussion n’a apporté que peu d’avantages, tandis que leur récupération entre les tours de raisonnement, en réponse à une lacune repérée, a donné de meilleurs résultats. Dans un système réunissant plusieurs spécialistes, cette méthode a amélioré la précision sur huit des neuf jeux de données et obtenu un résultat supérieur de six points de pourcentage à celui du Challenger utilisé sans récupération de données.

L’étude a également examiné si une équipe devrait recruter un autre spécialiste lorsqu’elle constate une lacune dans son expertise. Le recrutement déclenché par les agents eux-mêmes — qui décident qu’un autre point de vue est nécessaire — s’est révélé peu fiable. Le recrutement guidé par le Challenger a fait passer la précision de GPT-4.1-mini sur MedQA de 46 % à 54 %, et les résultats ont évolué dans une direction positive pour les autres jeux de données de généralisation testés.

La combinaison de la récupération de données probantes et du recrutement de spécialistes, sans coordination, a réduit les performances. Les auteurs estiment que cela souligne l’importance de gérer les interactions entre ces deux interventions, plutôt que de simplement les ajouter toutes deux à un système. Leurs résultats suggèrent que le moment et la raison pour lesquels des connaissances ou une expertise externes sont sollicitées constituent des choix de conception importants pour le raisonnement médical multi-agents.

Les travaux utilisent des questions médicales à choix multiples comme test contrôlé et précisent que le benchmark ne représente pas pleinement la prise de décision à l’hôpital. Le Challenger repère les faiblesses de la discussion, mais ne fournit pas lui-même les informations médicales manquantes ; des composants distincts se chargent de la récupération de données ou du recrutement de spécialistes.

Sources: arXiv cs.AI.