I sistemi di IA medica spesso faticano a rispondere a domande difficili, anche quando utilizzano più agenti che discutono le possibili risposte. Un nuovo studio propone di adattare questi team man mano che il ragionamento procede: un «Challenger» esterno esamina la discussione, individua lacune specifiche e aiuta a guidare il recupero mirato di prove o l’aggiunta di uno specialista.

I ricercatori hanno valutato l’approccio su 862 domande difficili provenienti da nove dataset biomedici del benchmark MedAgentsBench. Recuperare prove prima dell’inizio della discussione ha offerto pochi vantaggi, mentre recuperarle tra un turno di ragionamento e l’altro, in risposta a una lacuna individuata, ha dato risultati migliori. In un sistema con più specialisti, questo metodo ha migliorato l’accuratezza su otto dei nove dataset e ha ottenuto un risultato superiore di sei punti percentuali rispetto all’utilizzo del Challenger senza recupero di prove.

Lo studio ha inoltre esaminato se un team dovrebbe coinvolgere un altro specialista quando incontra una lacuna nelle proprie competenze. Il reclutamento attivato autonomamente, in cui gli agenti decidono da sé che serve un’altra prospettiva, si è rivelato inaffidabile. Il reclutamento guidato dal Challenger ha migliorato l’accuratezza di GPT-4.1-mini su MedQA dal 46% al 54%, con risultati che si sono mossi in una direzione positiva anche negli altri dataset di generalizzazione testati.

Combinare il recupero di prove e il reclutamento di specialisti senza coordinarli ha ridotto le prestazioni. Gli autori affermano che ciò evidenzia l’importanza di gestire l’interazione tra i due interventi, anziché limitarsi ad aggiungerli entrambi a un sistema. I risultati suggeriscono che il momento e il motivo per cui si ricorre a conoscenze o competenze esterne sono importanti scelte progettuali per il ragionamento medico multi-agente.

Il lavoro utilizza domande mediche a scelta multipla come test controllato e rileva che il benchmark non rappresenta pienamente il processo decisionale in ospedale. Il Challenger individua i punti deboli della discussione, ma non fornisce direttamente le informazioni mediche mancanti: componenti separate si occupano del recupero di prove o del reclutamento di specialisti.

Fonti: arXiv cs.AI.