Se ha lanzado un nuevo recurso titulado OpenFrontiers para abordar el desafío de evaluar a los grandes modelos de lenguaje (LLM) en la resolución de problemas a nivel de investigación. Si bien los LLM han demostrado una promesa creciente en la ciencia teórica, ha habido una falta de colecciones integrales de problemas abiertos y métodos fiables para calificarlos. OpenFrontiers combina un corpus estructurado de preguntas sin resolver con una prueba retrospectiva de problemas matemáticos resueltos recientemente para medir la capacidad de los sistemas de IA para redescubrir soluciones científicas.
El núcleo del proyecto es un corpus interdisciplinario que contiene 12.151 registros de problemas obtenidos de 62 colecciones diferentes en diez campos de primer nivel y 32 subcampos. El conjunto de datos conserva enunciados textuales, contexto, actualizaciones de progreso e información de licencia. Las matemáticas dominan la colección con el 93,4% de los registros, seguidas por la física, la informática y el aprendizaje automático. Aproximadamente la mitad de los registros están etiquetados como abiertos, mientras que el 46% se marca como no evaluado para reflejar la incertidumbre sobre su estado actual en lugar de asumir que siguen sin resolverse. Además, 1.946 registros incluyen declaraciones adjuntas en Lean 4.
Para facilitar la evaluación, los investigadores desarrollaron OpenFrontiers-Bench, un subconjunto de 200 problemas matemáticos a nivel de investigación. Esta prueba incluye 110 problemas que se resolvieron en 2026 y 90 que siguen abiertos. Cada problema cuenta con una declaración en Lean 4 verificada por sondas automatizadas y dos revisiones independientes. Un subconjunto de alta calidad conocido como HQ-50 filtra aún más estos elementos basándose en puntuaciones de calidad. El protocolo de evaluación califica demostraciones formales utilizando dos verificadores independientes dentro de un entorno aislado, probando los modelos bajo condiciones de libro cerrado, recuperación congelada y acceso a la web en vivo.
Los experimentos iniciales evaluaron a siete agentes LLM en el subconjunto HQ-50 con un presupuesto estandarizado. Los resultados indican que el redescubrimiento con libro cerrado es raro, con agentes resolviendo como máximo siete de los 40 problemas resueltos, principalmente aquellos que implican construcciones cortas. Por el contrario, las tasas de éxito aumentaron hasta 27 cuando se permitió el acceso a la web en vivo, aunque esto reflejó principalmente la recuperación de soluciones publicadas en lugar del descubrimiento independiente. Cabe destacar que ningún problema abierto fue resuelto sin acceder a información externa. El conjunto de datos y la prueba están disponibles en Hugging Face para futuras investigaciones sobre el redescubrimiento científico.
Fuentes: arXiv cs.AI.