Pesquisadores apresentaram o ThinkJev, uma abordagem inovadora projetada para otimizar como os modelos de linguagem lidam com decisões tipadas, que são escolhas entre um conjunto fechado de opções sobre as quais o código pode agir. Embora a leitura de probabilidades em uma única passagem direta seja rápida, ela frequentemente falha em problemas de múltiplas etapas, como aritmética, contagem ou comparação de datas. Por outro lado, permitir que o modelo pense antes de responder corrige a maioria dos erros, mas aumenta o tempo de processamento de milissegundos para segundos. O ThinkJev aborda esse compromisso construindo uma arquitetura de sistema dual a partir de um único modelo híbrido de pensamento aberto que pode responder diretamente ou após raciocinar.
A estrutura utiliza dois sistemas distintos derivados de um único modelo e um único prompt em cache. O Sistema 1 fornece uma resposta rápida lendo as probabilidades do modelo para as letras das opções imediatamente, sem gerar tokens de pensamento. O Sistema 2 envolve-se em um raciocínio mais profundo, lendo as mesmas letras de opção apenas após o modelo ter gerado um processo de pensamento. Como ambos os sistemas leem dos mesmos slots de resposta no mesmo prompt, a escalada do Sistema 1 para o Sistema 2 não requer reprocessar a entrada ou executar um segundo modelo. Além disso, como a resposta pode ser lida após qualquer número de tokens de pensamento, um único pensamento amostrado fornece respostas calibradas em todos os orçamentos de pensamento possíveis.
O ThinkJev opera sem treinamento usando um teste estatístico em dados de desenvolvimento rotulados para determinar quando o Sistema 1 é confiável o suficiente para responder sozinho. Em uma taxa de erro alvo de 5%, o modelo Qwen3.5-27B respondeu com sucesso a 24,5% das 8.359 decisões de teste usando apenas o Sistema 1, alcançando uma taxa de erro realizada de 3,9%. Para as decisões restantes que exigem pensamento mais profundo, o sistema para de raciocinar assim que a resposta atinge um limiar de confiança. Essa abordagem adaptativa atingiu 81,6% de precisão usando apenas 72% dos tokens de pensamento necessários por modelos que sempre pensam, em comparação com 82,7% de precisão para o pensamento constante.
O estudo destaca que confiar exclusivamente na confiança do Sistema 1 para decidir quando pensar é menos eficaz, pois as decisões onde o Sistema 1 tem menos confiança nem sempre são aquelas que o raciocínio corrige. No JevBench, um benchmark independente para serviços de decisão tipada, o Qwen3.5-27B usando ThinkJev pensou em apenas 29,4% dos itens públicos e alcançou uma precisão indistinguível de duas principais APIs comerciais de pensamento. Os pesquisadores tornaram o código e os geradores de dados disponíveis publicamente para apoiar a exploração adicional deste método em cascata livre de treinamento.
Fontes: arXiv cs.AI.