Um novo recurso intitulado OpenFrontiers foi lançado para abordar o desafio de avaliar grandes modelos de linguagem (LLMs) na resolução de problemas de nível de pesquisa. Embora os LLMs tenham demonstrado uma promessa crescente nas ciências teóricas, tem havido uma falta de coleções abrangentes de problemas abertos e métodos confiáveis para avaliá-los. O OpenFrontiers combina um corpus estruturado de questões não resolvidas com um benchmark retrospectivo de problemas matemáticos recentemente resolvidos para medir a capacidade dos sistemas de IA de redescobrir soluções científicas.
O cerne do projeto é um corpus interdisciplinar contendo 12.151 registros de problemas provenientes de 62 coleções diferentes em dez áreas principais e 32 subáreas. O conjunto de dados preserva declarações verbais, contexto, atualizações de progresso e informações de licenciamento. A matemática domina a coleção com 93,4% dos registros, seguida por física, ciência da computação e aprendizado de máquina. Aproximadamente metade dos registros é classificada como aberta, enquanto 46% são marcados como não avaliados para refletir a incerteza em seu status atual, em vez de assumir que permanecem sem solução. Além disso, 1.946 registros incluem declarações Lean 4 anexadas.
Para facilitar a avaliação, os pesquisadores desenvolveram o OpenFrontiers-Bench, um subconjunto de 200 problemas matemáticos de nível de pesquisa. Este benchmark inclui 110 problemas que foram resolvidos em 2026 e 90 que permanecem abertos. Cada problema apresenta uma declaração Lean 4 verificada por sondas automatizadas e duas revisões independentes. Um subconjunto de alta qualidade conhecido como HQ-50 filtra ainda mais esses itens com base em pontuações de qualidade. O protocolo de avaliação classifica provas formais usando dois verificadores independentes dentro de um sandbox isolado, testando modelos sob condições de livro fechado, recuperação congelada e web ao vivo.
Experimentos iniciais avaliaram sete agentes LLM no subconjunto HQ-50 sob um orçamento padronizado. Os resultados indicam que a redescoberta com livro fechado é rara, com os agentes resolvendo no máximo sete dos 40 problemas resolvidos, principalmente aqueles envolvendo construções curtas. Em contraste, as taxas de sucesso aumentaram para até 27 quando o acesso à web ao vivo foi permitido, embora isso refletisse principalmente a recuperação de soluções publicadas em vez de descoberta independente. Notavelmente, nenhum problema aberto foi resolvido sem acessar informações externas. O conjunto de dados e o benchmark estão disponíveis no Hugging Face para mais pesquisas sobre redescoberta científica.
Fontes: arXiv cs.AI.