Los agentes de modelos de lenguaje auto-evolutivos están diseñados para reescribir un estado persistente después de la retroalimentación, pero un nuevo artículo de arXiv sostiene que en gran medida no se ha probado si este proceso permite que un agente aprenda una regla que nadie le dijo. El artículo presenta CLR-Bench, un benchmark de Currículo de Reglas Latentes, para separar la inducción genuina de reglas de la estrategia más simple de anotar cada corrección como una excepción. En el benchmark, un agente que solo mantiene una lista creciente puede aprobar las tareas de práctica mientras pierde casos no vistos que la regla subyacente debería cubrir.
CLR-Bench se construye a partir de cadenas de tareas de agregación sobre registros realistas, como contar segmentos de vuelo reembolsables por departamento o registros de medicamentos revisables por paciente. Cada cadena añade una regla oculta por nivel sobre las reglas anteriores. Una regla opera sobre una etiqueta opaca que representa una agrupación nombrada publicada en la Web, como los miembros fundadores de una alianza de aerolíneas. La tarea proporciona un valor de ejemplo, la retroalimentación de práctica revela un miembro adicional y un no miembro, y la prueba verifica miembros no vistos y no miembros similares. Por ejemplo, si el ejemplo es Lufthansa, la práctica puede mostrar que Thai Airways pertenece a la misma agrupación y que ITA Airways no; luego la prueba pregunta por United Airlines, que nunca apareció en la retroalimentación, mientras que los no miembros similares todavía deben contarse. El artículo afirma que el éxito requiere convertir la evidencia en la categoría correcta y almacenar esa categoría en el estado del agente.
El benchmark utiliza un pipeline automatizado para construir y certificar cadenas a partir de un nuevo dominio de datos, con sondas de modelos de lenguaje que verifican que el modelo base conoce los miembros de cada agrupación y no la adivina sin retroalimentación. Las sondas también certifican que, bajo una convención de agrupación nombrada, la evidencia identifica la agrupación. Otros cuatro modelos base rara vez adivinan las agrupaciones tampoco, según el artículo. El conjunto publicado contiene 20 cadenas sobre 10 dominios, con cuatro niveles por cadena, emparejando cada regla oculta con una tarea de práctica y una tarea de prueba. En total, el benchmark incluye 80 reglas ocultas, 80 tareas de práctica y 80 tareas de prueba. Los dominios abarcan desde auditorías de gastos de viaje y revisiones de farmacia hasta registros de sistemas, importaciones químicas y control del Estado rector del puerto.
El artículo evalúa seis métodos recientes de auto-evolución. Con el modelo certificador, los métodos apenas aprenden: la mejor ganancia es de como máximo 5 puntos sobre un agente congelado, y excluyen solo del 6 al 12% de los miembros no vistos del conteo, menos que el 20% alcanzado simplemente manteniendo el historial de práctica sin procesar. Sus estados contienen el miembro revelado en el 75–98% de los casos y casi nunca el nombre de la clase, informa el artículo. Cuando la práctica expone un miembro que la lista omite, los métodos añaden ese miembro a la lista. Una lección fija que enuncia la convención de agrupación nombrada eleva los mismos métodos entre 14,5 y 16,5 puntos.
Con el modelo base más fuerte GPT-6-Sol, ACE y Dynamic Cheatsheet aprenden solo a partir de la retroalimentación, alcanzando 78% de precisión y resolviendo 59–60% de las celdas individuales, frente a 53% y 8% con el modelo certificador. También superan la referencia de historial sin procesar. El artículo afirma que CLR-Bench, por lo tanto, mide qué tan bien aprende un agente y muestra que esta capacidad difiere entre modelos. El código y los datos están disponibles en https://github.com/yausankit/clr-bench.
Fuentes: arXiv cs.AI.