Eine neue Ressource mit dem Titel OpenFrontiers wurde veröffentlicht, um die Herausforderung der Bewertung großer Sprachmodelle (LLMs) bei der Lösung von Problemen auf Forschungsebene zu adressieren. Während LLMs ein zunehmendes Potenzial in der theoretischen Wissenschaft gezeigt haben, fehlten bisher umfassende Sammlungen offener Probleme und zuverlässige Methoden zu deren Bewertung. OpenFrontiers kombiniert einen strukturierten Korpus ungelöster Fragen mit einer retrospektiven Benchmark kürzlich gelöster mathematischer Probleme, um die Fähigkeit von KI-Systemen zu messen, wissenschaftliche Lösungen wiederzuentdecken.
Der Kern des Projekts ist ein interdisziplinärer Korpus mit 12.151 Problem-Einträgen, die aus 62 verschiedenen Sammlungen über zehn Hauptfächer und 32 Unterfächer stammen. Der Datensatz bewahrt wörtliche Formulierungen, Kontext, Fortschrittsupdates und Lizenzinformationen. Mathematik dominiert die Sammlung mit 93,4 % der Einträge, gefolgt von Physik, Informatik und maschinellem Lernen. Etwa die Hälfte der Einträge ist als offen gekennzeichnet, während 46 % als nicht bewertet markiert sind, um die Unsicherheit ihres aktuellen Status widerzuspiegeln, anstatt davon auszugehen, dass sie weiterhin ungelöst bleiben. Zusätzlich enthalten 1.946 Einträge angehängte Lean-4-Aussagen.
Um die Evaluierung zu erleichtern, entwickelten die Forscher OpenFrontiers-Bench, eine Teilmenge von 200 mathematischen Problemen auf Forschungsebene. Diese Benchmark umfasst 110 Probleme, die im Jahr 2026 gelöst wurden, und 90, die weiterhin offen sind. Jedes Problem verfügt über eine Lean-4-Aussage, die durch automatisierte Prüfungen und zwei unabhängige Reviews verifiziert wurde. Eine hochwertige Teilmenge namens HQ-50 filtert diese Elemente basierend auf Qualitätsbewertungen weiter. Das Evaluierungsprotokoll bewertet formale Beweise unter Verwendung von zwei unabhängigen Prüfern in einer isolierten Sandbox und testet Modelle unter Bedingungen ohne externe Quellen (closed-book), mit eingefrorener Abrufmöglichkeit (frozen-retrieval) und mit Live-Web-Zugriff.
Erste Experimente bewerteten sieben LLM-Agenten auf der HQ-50-Teilmenge unter einem standardisierten Budget. Die Ergebnisse zeigen, dass die Wiederentdeckung ohne externe Quellen selten ist; Agenten lösten höchstens sieben von 40 gelösten Problemen, meist solche, die kurze Konstruktionen beinhalten. Im Gegensatz dazu stiegen die Erfolgsraten auf bis zu 27, wenn Live-Web-Zugriff erlaubt war, obwohl dies primär den Abruf veröffentlichter Lösungen und nicht eine unabhängige Entdeckung widerspiegelte. Bemerkenswerterweise wurde kein offenes Problem gelöst, ohne auf externe Informationen zuzugreifen. Der Datensatz und die Benchmark stehen auf Hugging Face für weitere Forschungen zur wissenschaftlichen Wiederentdeckung zur Verfügung.
Quellen: arXiv cs.AI.