Un nuevo estudio examina cuánta autoridad debería tener un agente de IA al revisar la decisión de otro. Compara una autoridad amplia para anular decisiones con un filtro de evidencia que permite al revisor sustituir una propuesta únicamente si proporciona un registro mecánicamente válido que demuestre que la propuesta infringe una restricción vinculante y que la sustitución la cumple.
Los investigadores probaron dos modelos de pesos abiertos ejecutados localmente en 96 tareas de política espacial y en un conjunto de referencia de transferencia de cartera de 96 tareas. En la comparación principal, ambas reglas de revisión recibieron el mismo resultado del revisor; solo cambió la regla que determinaba si la recomendación podía hacerse efectiva. El filtro de evidencia redujo drásticamente los casos en que una propuesta correcta era sustituida por una incorrecta, y conservó la mayoría de las reparaciones de infracciones de restricciones.
El estudio también probó una interfaz de revisión que pedía a los modelos elegir entre mantener, sustituir o elevar una propuesta. En esta prueba prospectiva, la interfaz eliminó la corrupción de propuestas correctas en el caso de Qwen, mientras que Mistral siguió sustituyendo las 48 propuestas correctas. Qwen también rechazó todas las reparaciones basadas únicamente en el bienestar que Mistral intentaba con frecuencia.
Los autores destacan que los efectos del filtro dependen no solo de sus reglas, sino también del comportamiento del revisor y del estado de las propuestas que recibe. Puede proteger las decisiones correctas y las restricciones vinculantes, pero no puede mejorar una propuesta conforme que sea subóptima. Por tanto, los hallazgos no demuestran que la revisión restringida sea siempre mejor: la capacidad del revisor, el diseño de la interfaz y la autoridad para hacer vinculantes las recomendaciones determinan el resultado.
Fuentes: arXiv cs.AI.