Um novo estudo examina quanta autoridade um agente de IA deve ter ao revisar a decisão de outro. O estudo compara uma ampla autoridade para anular decisões com um filtro de evidências que permite ao revisor substituir uma proposta apenas quando ele fornece um registro mecanicamente válido, demonstrando que a proposta viola uma restrição vinculante e que sua substituição está em conformidade.
Os pesquisadores testaram dois modelos de pesos abertos executados localmente em 96 tarefas de políticas espaciais e em um benchmark de transferência de portfólio com 96 tarefas. Na comparação principal, ambas as regras de revisão receberam a mesma resposta do revisor; apenas mudou a regra que determinava se a recomendação poderia entrar em vigor. O filtro de evidências reduziu drasticamente os casos em que uma proposta correta era substituída por uma incorreta, preservando a maioria das correções de violações de restrições.
O estudo também testou uma interface de revisão que pedia aos modelos que escolhessem entre manter, substituir ou encaminhar uma proposta para análise. Nesse teste prospectivo, a interface eliminou a corrupção de propostas corretas para o Qwen, enquanto o Mistral continuou substituindo todas as 48 propostas corretas. O Qwen também recusou todas as correções que beneficiavam apenas o bem-estar e que o Mistral tentava fazer com frequência.
Os autores ressaltam que os efeitos do filtro dependem não apenas de suas regras, mas também do comportamento do revisor e das condições das propostas que ele recebe. O filtro pode proteger decisões corretas e restrições vinculantes, mas não pode melhorar uma proposta em conformidade que seja subótima. Portanto, os resultados não demonstram que a revisão restrita seja sempre melhor: a capacidade do revisor, o desenho da interface e a autoridade para tornar vinculantes as recomendações influenciam o resultado.
Fontes: arXiv cs.AI.