Une nouvelle ressource intitulée OpenFrontiers a été publiée pour relever le défi de l'évaluation des grands modèles de langage (LLM) sur la résolution de problèmes de niveau recherche. Bien que les LLM aient fait preuve d'un potentiel croissant dans les sciences théoriques, il manquait des collections complètes de problèmes ouverts et des méthodes fiables pour les noter. OpenFrontiers combine un corpus structuré de questions non résolues avec une référence rétrospective de problèmes mathématiques récemment résolus afin de mesurer la capacité des systèmes d'IA à redécouvrir des solutions scientifiques.
Le cœur du projet est un corpus interdisciplinaire contenant 12 151 enregistrements de problèmes provenant de 62 collections différentes couvrant dix domaines principaux et 32 sous-domaines. Le jeu de données conserve les énoncés textuels, le contexte, les mises à jour sur les progrès et les informations sur la licence. Les mathématiques dominent la collection avec 93,4 % des enregistrements, suivies par la physique, l'informatique et l'apprentissage automatique. Environ la moitié des enregistrements sont étiquetés comme ouverts, tandis que 46 % sont marqués comme non évalués pour refléter l'incertitude quant à leur statut actuel plutôt que de supposer qu'ils restent non résolus. De plus, 1 946 enregistrements incluent des énoncés Lean 4 attachés.
Pour faciliter l'évaluation, les chercheurs ont développé OpenFrontiers-Bench, un sous-ensemble de 200 problèmes mathématiques de niveau recherche. Cette référence comprend 110 problèmes résolus en 2026 et 90 qui restent ouverts. Chaque problème comporte un énoncé Lean 4 vérifié par des sondes automatisées et deux examens indépendants. Un sous-ensemble de haute qualité, connu sous le nom de HQ-50, filtre davantage ces éléments sur la base de scores de qualité. Le protocole d'évaluation note les preuves formelles en utilisant deux vérificateurs indépendants au sein d'un bac à sable isolé, testant les modèles dans des conditions de livre fermé, de récupération figée et d'accès web en direct.
Les premières expériences ont évalué sept agents LLM sur le sous-ensemble HQ-50 avec un budget standardisé. Les résultats indiquent que la redécouverte en mode livre fermé est rare, les agents résolvant au maximum sept des 40 problèmes résolus, principalement ceux impliquant des constructions courtes. En revanche, les taux de réussite ont augmenté jusqu'à 27 lorsque l'accès au web en direct était autorisé, bien que cela reflète principalement la récupération de solutions publiées plutôt qu'une découverte indépendante. Fait notable, aucun problème ouvert n'a été résolu sans accéder à des informations externes. Le jeu de données et la référence sont disponibles sur Hugging Face pour d'autres recherches sur la redécouverte scientifique.
Sources: arXiv cs.AI.