Un nuovo studio esamina quanta autorità dovrebbe avere un agente IA nel revisionare la decisione di un altro. Confronta un’ampia facoltà di annullamento con un vincolo probatorio, che consente a un revisore di sostituire una proposta solo quando fornisce una registrazione meccanicamente valida che dimostri che la proposta viola un vincolo vincolante e che la sostituzione lo rispetta.
I ricercatori hanno testato due modelli open-weight eseguiti localmente su 96 compiti di politica spaziale e su un benchmark di trasferimento di portafoglio composto da 96 compiti. Nel confronto principale, entrambe le regole di revisione hanno ricevuto lo stesso output del revisore; è cambiata soltanto la regola che stabiliva se la raccomandazione potesse entrare in vigore. Il vincolo probatorio ha ridotto drasticamente i casi in cui una proposta corretta veniva sostituita con una errata, conservando al contempo la maggior parte delle correzioni delle violazioni dei vincoli.
Lo studio ha inoltre testato un’interfaccia di revisione che chiedeva ai modelli di scegliere se mantenere, sostituire o sottoporre a verifica una proposta. In questo test prospettico, l’interfaccia ha eliminato la corruzione delle proposte corrette per Qwen, mentre Mistral ha continuato a sostituire tutte le 48 proposte corrette. Qwen ha inoltre rifiutato ogni correzione basata esclusivamente sul benessere, che Mistral ha tentato frequentemente.
Gli autori sottolineano che gli effetti del vincolo dipendono non solo dalle sue regole, ma anche dal comportamento del revisore e dallo stato delle proposte che riceve. Può proteggere le decisioni corrette e i vincoli vincolanti, ma non può migliorare una proposta conforme che sia subottimale. I risultati non dimostrano quindi che una revisione soggetta a restrizioni sia sempre migliore: la capacità del revisore, la progettazione dell’interfaccia e l’autorità di rendere vincolanti le raccomandazioni influiscono tutte sull’esito.
Fonti: arXiv cs.AI.