L’examen soumis à des preuves limite les cas où les agents d’IA peuvent remplacer des décisions

Une étude portant sur deux modèles de langage à poids ouverts exécutés localement conclut qu’exiger des examinateurs qu’ils consignent une violation d’une contrainte impérative avant de remplacer la décision d’un agent peut réduire les dommages causés aux propositions correctes, tout en préservant la plupart des corrections. Les résultats d’un test distinct d’examen fondé sur des actions différaient selon les modèles.

Une nouvelle étude examine le degré d’autorité qu’un agent d’IA devrait avoir lorsqu’il examine la décision d’un autre agent. Elle compare une large autorité de remplacement à un mécanisme de contrôle fondé sur des preuves, qui permet à un examinateur de remplacer une proposition uniquement s’il fournit un relevé mécaniquement valide attestant que la proposition enfreint une contrainte impérative et que la proposition de remplacement la respecte.

Les chercheurs ont testé deux modèles à poids ouverts exécutés localement sur 96 tâches de politique spatiale et sur un benchmark de transfert de portefeuille comprenant 96 tâches. Dans la comparaison principale, les deux règles d’examen ont reçu le même résultat de l’examinateur ; seule la règle déterminant si la recommandation pouvait prendre effet différait. Le mécanisme de contrôle fondé sur des preuves a fortement réduit les cas où une proposition correcte était remplacée par une proposition incorrecte, tout en conservant la plupart des corrections apportées aux violations de contraintes.

L’étude a également testé une interface d’examen qui demandait aux modèles de choisir entre conserver, remplacer ou transmettre une proposition. Dans ce test prospectif, l’interface a éliminé la dégradation des propositions correctes pour Qwen, tandis que Mistral a continué de remplacer les 48 propositions correctes. Qwen a également refusé toutes les corrections fondées uniquement sur le bien-être que Mistral tentait fréquemment.

Les auteurs soulignent que les effets du mécanisme de contrôle dépendent non seulement de ses règles, mais aussi du comportement de l’examinateur et de l’état des propositions qu’il reçoit. Ce mécanisme peut protéger les décisions correctes et les contraintes impératives, mais il ne peut pas améliorer une proposition conforme qui n’est pas optimale. Les résultats ne démontrent donc pas qu’un examen restreint est toujours préférable : les capacités de l’examinateur, la conception de l’interface et le pouvoir de rendre les recommandations contraignantes influent tous sur le résultat.

Sources: arXiv cs.AI.

Articles liés