Medizinische KI-Systeme haben oft Schwierigkeiten mit anspruchsvollen Fragen, selbst wenn mehrere Agenten mögliche Antworten diskutieren. Eine neue Studie schlägt vor, diese Teams im Verlauf des Schlussfolgerns anzupassen: Ein externer „Challenger“ überprüft die Diskussion, erkennt konkrete Lücken und hilft dabei, gezielt Belege abzurufen oder einen Spezialisten hinzuzuziehen.

Die Forschenden untersuchten den Ansatz anhand von 862 anspruchsvollen Fragen aus neun biomedizinischen Datensätzen des MedAgentsBench-Benchmarks. Belege abzurufen, bevor die Diskussion begann, brachte wenig Nutzen. Besser schnitt es ab, Belege zwischen den Schlussfolgerungsrunden als Reaktion auf eine erkannte Lücke abzurufen. Bei einem System mit mehreren Spezialisten verbesserte diese Methode die Genauigkeit in acht der neun Datensätze und erzielte einen um sechs Prozentpunkte höheren Wert als der Einsatz des Challengers ohne Abruf.

Die Studie untersuchte außerdem, ob ein Team einen weiteren Spezialisten hinzuziehen sollte, wenn es auf eine Lücke in seiner Fachkenntnis stößt. Die selbstgesteuerte Rekrutierung – bei der die Agenten eigenständig entscheiden, dass eine weitere Perspektive benötigt wird – erwies sich als unzuverlässig. Eine vom Challenger unterstützte Rekrutierung verbesserte die Genauigkeit von GPT-4.1-mini bei MedQA von 46 % auf 54 %; auch bei den anderen getesteten Datensätzen zur Generalisierbarkeit entwickelten sich die Ergebnisse in eine positive Richtung.

Die Kombination aus Belegabruf und der Rekrutierung von Spezialisten ohne Abstimmung verringerte die Leistung. Die Autorinnen und Autoren sagen, dies unterstreiche, wie wichtig es ist, das Zusammenspiel der beiden Maßnahmen zu steuern, statt einem System einfach beide hinzuzufügen. Ihre Ergebnisse legen nahe, dass der Zeitpunkt und der Anlass, zu dem externes Wissen oder zusätzliche Expertise einbezogen werden, wichtige Gestaltungsentscheidungen für das medizinische Multi-Agenten-Schlussfolgern sind.

Die Arbeit verwendet medizinische Multiple-Choice-Fragen als kontrollierten Test und weist darauf hin, dass der Benchmark die Entscheidungsfindung in einem Krankenhaus nicht vollständig abbildet. Der Challenger erkennt Schwächen in der Diskussion, liefert aber nicht selbst die fehlenden medizinischen Informationen; für den Abruf von Informationen oder die Rekrutierung von Spezialisten sind separate Komponenten zuständig.

Quellen: arXiv cs.AI.