Um estudo sobre métodos de interrupção antecipada para grandes modelos de raciocínio conclui que interromper a geração do raciocínio pode reduzir o uso de tokens, mas a relação entre esse ganho e a precisão e a confiabilidade varia conforme o modelo e a tarefa. Os pesquisadores avaliaram métodos em tarefas de raciocínio matemático e científico, geração de código e factualidade, usando cinco modelos e um protocolo de reprodução compartilhado.

O artigo apresenta a Eficiência de Tokens Integrada ao Alvo (Tite, na sigla em inglês), uma medida que compara o uso de tokens de um método com o de um oráculo em diferentes metas de precisão. Nos experimentos relatados, o oráculo — que seleciona entre orçamentos de raciocínio discretos — alcançou precisão superior à do raciocínio natural, de comprimento integral, dos modelos em várias configurações. Por exemplo, em raciocínio matemático e científico, o gpt-oss-20b obteve 0,894 com o oráculo, em comparação com 0,824 usando o raciocínio integral. Na geração de código, o R1-Qwen3-8B atingiu 0,514 com o oráculo, contra 0,382 com o raciocínio integral; nos benchmarks de factualidade, o mesmo modelo obteve 0,730, contra 0,540.

Esse potencial não significa que as técnicas de interrupção existentes encontrem de forma confiável o melhor momento para encerrar o raciocínio. O estudo relata que métodos mais agressivos, incluindo DTSR-1 e CoDE-Stop, muitas vezes usaram menos tokens, mas sofreram perdas substanciais de precisão. DEER, EntroCut e PUMA apresentaram relações mais favoráveis entre precisão e eficiência em alguns casos, mas nenhum método teve o melhor desempenho de forma consistente em todas as configurações.

Os resultados também mostram por que a precisão, por si só, pode induzir a erro. Em raciocínio matemático com o gpt-oss-20b, o Statistical Early Exit igualou a precisão do raciocínio integral, com 0,824, mas registrou uma pontuação TITE de 0,191. DEER e EntroCut tiveram precisão menor, de 0,773, mas pontuações TITE mais altas, de 0,381 e 0,380. Os autores afirmam que os métodos atuais ainda têm dificuldade para localizar pontos de interrupção confiáveis e, ao mesmo tempo, manter baixo o custo de verificá-los.

Os pesquisadores também testaram se as respostas permanecem corretas à medida que o raciocínio prossegue. Encontraram casos em que a correção diminuiu em etapas posteriores mais do que o previsto pelo modelo de ruído de decodificação que utilizaram. As verificações de confiabilidade também identificaram a continuação do raciocínio após o encerramento forçado e um raciocínio de apoio mais fraco em algumas respostas que chegaram cedo à conclusão correta. Os resultados sugerem que, para avaliar a interrupção antecipada, é preciso ir além da economia de tokens e da precisão da resposta final e verificar se o raciocínio mantido sustenta a resposta.

Fontes: arXiv cs.AI.