Pesquisadores do MIT relatam que o GPT-6 Astra, da OpenAI, consegue analisar e modificar os pesos numéricos dentro de outros modelos de IA, um processo que chamam de “Programação no Espaço dos Pesos”. Em vez de retreinar um modelo por meio da otimização convencional, o Astra trabalha diretamente com seus pesos, às vezes usando ferramentas de programação e o feedback de execuções de teste.

Em experimentos, o Astra inferiu o que várias redes treinadas haviam aprendido examinando seus pesos. Identificou qual dos quatro jogos uma rede havia sido projetada para jogar, reconheceu as formas básicas produzidas por um gerador de imagens e identificou o idioma de treinamento de pequenos modelos de linguagem. Não conseguiu distinguir, apenas pelos pesos, dois modelos de linguagem ajustados para concordar com os usuários, mas teve sucesso quando também pôde observar a quais partes do texto os modelos prestavam atenção.

Os pesquisadores também pediram ao Astra que criasse pesos para modelos que jogassem jogos simples, usando as regras e o código-fonte dos jogos, em vez de dados de treinamento. No Breakout, seu modelo obteve uma média de 517 pontos, em comparação com 25 de um modelo treinado convencionalmente. Os modelos do Astra não superaram as versões treinadas por mais tempo em dois outros jogos. No Go 9x9, uma rede ajustada pelo Astra ao longo de 50 rodadas de testes venceu um modelo de tamanho semelhante, treinado com cerca de 20 milhões de partidas.

Os resultados mais notáveis vieram de uma tentativa de melhorar o desempenho matemático do Qwen3.5-0.8B. Usando um ambiente de programação e 50 rodadas de testes, o Astra alterou 0,016% dos pesos do modelo. Sua precisão no benchmark MATH-500 aumentou de 7,9% para 48,1%, enquanto sua pontuação em seguimento de instruções subiu de 21% para 62%.

A edição também reduziu, mas não eliminou, um comportamento no qual o Qwen gera texto repetidamente sem chegar a uma resposta: cerca de um terço das respostas ainda atingia o comprimento máximo de texto, em comparação com 93% antes. O Astra não produziu nenhuma melhora mensurável quando testado no modelo menor Gemma 3 270M, que raramente apresentava o mesmo comportamento repetitivo. Os pesquisadores sugerem que a edição do Qwen pode ter removido um obstáculo que suprimia capacidades já existentes, observando, porém, que reescrever os pesos não demonstrou uma forma de acrescentar capacidades que um modelo fundamentalmente não possui.

Os pesquisadores veem possíveis aplicações na auditoria dos pesos dos modelos para identificar problemas de segurança e na realização de mudanças específicas de comportamento sem retreinamento dispendioso. Eles reconhecem que a abordagem ainda é limitada e afirmam que desenvolver um benchmark para medi-la sistematicamente é um próximo passo. Os registros dos experimentos estão disponíveis no GitHub, e o modelo Qwen editado está no Hugging Face.

Fontes: The Decoder.