È stata rilasciata una nuova risorsa intitolata OpenFrontiers per affrontare la sfida di valutare i grandi modelli linguistici (LLM) nella risoluzione di problemi a livello di ricerca. Sebbene gli LLM abbiano dimostrato un potenziale crescente nelle scienze teoriche, è mancata una raccolta completa di problemi aperti e metodi affidabili per valutarli. OpenFrontiers combina un corpus strutturato di domande irrisolte con un benchmark retrospettivo di problemi matematici risolti recentemente per misurare la capacità dei sistemi di IA di riscoprire soluzioni scientifiche.
Il cuore del progetto è un corpus interdisciplinare contenente 12.151 registri di problemi tratti da 62 diverse raccolte in dieci campi principali e 32 sottocampi. Il dataset preserva le dichiarazioni letterali, il contesto, gli aggiornamenti sui progressi e le informazioni sulla licenza. La matematica domina la raccolta con il 93,4% dei registri, seguita da fisica, informatica e apprendimento automatico. Circa metà dei registri sono etichettati come aperti, mentre il 46% è contrassegnato come non valutato per riflettere l'incertezza sul loro stato attuale piuttosto che assumere che rimangano irrisolti. Inoltre, 1.946 registri includono dichiarazioni Lean 4 allegate.
Per facilitare la valutazione, i ricercatori hanno sviluppato OpenFrontiers-Bench, un sottoinsieme di 200 problemi matematici a livello di ricerca. Questo benchmark include 110 problemi risolti nel 2026 e 90 che rimangono aperti. Ogni problema presenta una dichiarazione Lean 4 verificata da sonde automatizzate e due revisioni indipendenti. Un sottoinsieme di alta qualità noto come HQ-50 filtra ulteriormente questi elementi in base ai punteggi di qualità. Il protocollo di valutazione valuta le dimostrazioni formali utilizzando due controllori indipendenti all'interno di un sandbox isolato, testando i modelli in condizioni di libro chiuso, recupero congelato e accesso live al web.
Gli esperimenti iniziali hanno valutato sette agenti LLM sul sottoinsieme HQ-50 con un budget standardizzato. I risultati indicano che la riscoperta a libro chiuso è rara, con gli agenti che risolvono al massimo sette dei 40 problemi risolti, prevalentemente quelli che coinvolgono costruzioni brevi. Al contrario, i tassi di successo sono saliti fino a 27 quando è stato consentito l'accesso live al web, sebbene ciò riflettesse principalmente il recupero di soluzioni pubblicate piuttosto che una scoperta indipendente. Degno di nota è il fatto che nessun problema aperto sia stato risolto senza accedere a informazioni esterne. Il dataset e il benchmark sono disponibili su Hugging Face per ulteriori ricerche sulla riscoperta scientifica.
Fonti: arXiv cs.AI.