I ricercatori del MIT riferiscono che GPT-6 Astra di OpenAI può analizzare e modificare i pesi numerici all’interno di altri modelli di IA, un processo che chiamano «programmazione nello spazio dei pesi». Invece di riaddestrare un modello con la consueta ottimizzazione, Astra interviene direttamente sui suoi pesi, talvolta usando strumenti di programmazione e il feedback dei test.

Negli esperimenti, Astra ha dedotto che cosa avessero appreso diverse reti addestrate esaminandone i pesi. Ha identificato a quale dei quattro giochi fosse destinata una rete, riconosciuto le forme di base prodotte da un generatore di immagini e individuato la lingua di addestramento di piccoli modelli linguistici. Non è riuscita a distinguere, basandosi soltanto sui pesi, due modelli linguistici perfezionati per assecondare gli utenti, ma ci è riuscita quando ha potuto osservare anche a quali parti del testo i modelli prestavano attenzione.

I ricercatori hanno anche chiesto ad Astra di creare i pesi per modelli che giocassero a semplici giochi, usando le regole e il codice sorgente dei giochi invece dei dati di addestramento. In Breakout, il suo modello ha ottenuto in media 517 punti, contro i 25 di un modello addestrato con metodi convenzionali. In altri due giochi, i modelli di Astra non hanno superato le versioni addestrate più a lungo. Nel Go 9x9, una rete modificata da Astra attraverso 50 cicli di test ha battuto un modello di dimensioni simili, addestrato su circa 20 milioni di partite.

I risultati più notevoli sono emersi dal tentativo di migliorare le prestazioni matematiche di Qwen3.5-0.8B. Usando un ambiente di programmazione e 50 cicli di test, Astra ha modificato lo 0,016% dei pesi del modello. La sua accuratezza nel benchmark MATH-500 è passata dal 7,9% al 48,1%, mentre il punteggio nel seguire le istruzioni è aumentato dal 21% al 62%.

La modifica ha anche ridotto, senza però eliminarlo, un comportamento per cui Qwen genera ripetutamente testo senza arrivare a una risposta: circa un terzo delle risposte raggiungeva ancora la lunghezza massima consentita, rispetto al 93% di prima. Nei test sul modello più piccolo Gemma 3 270M, che raramente mostrava lo stesso comportamento ripetitivo, Astra non ha prodotto miglioramenti misurabili. I ricercatori ipotizzano che la modifica apportata a Qwen possa aver rimosso un ostacolo che frenava capacità già presenti, precisando però che riscrivere i pesi non ha dimostrato come aggiungere capacità di cui un modello è fondamentalmente privo.

I ricercatori intravedono possibili applicazioni nell’analisi dei pesi dei modelli per individuare problemi di sicurezza e nell’apportare modifiche mirate al comportamento senza costosi riaddestramenti. Riconoscono che l’approccio è ancora limitato e affermano che un passo successivo sarà sviluppare un benchmark per valutarlo in modo sistematico. I registri degli esperimenti sono disponibili su GitHub e il modello Qwen modificato si trova su Hugging Face.

Fonti: The Decoder.