Des chercheurs du MIT rapportent que GPT-6 Astra d’OpenAI peut analyser et modifier les poids numériques internes d’autres modèles d’IA, un processus qu’ils appellent « programmation dans l’espace des poids ». Au lieu de réentraîner un modèle par optimisation conventionnelle, Astra intervient directement sur ses poids, parfois en utilisant des outils de programmation et les retours de tests.

Lors d’expériences, Astra a déduit ce que plusieurs réseaux entraînés avaient appris en examinant leurs poids. Il a déterminé auquel de quatre jeux un réseau était destiné, reconnu les formes de base produites par un générateur d’images et identifié la langue d’entraînement de petits modèles de langage. Il n’a pas pu distinguer, à partir des seuls poids, deux modèles de langage affinés pour se conformer aux demandes des utilisateurs, mais il y est parvenu en observant également les parties du texte auxquelles les modèles prêtaient attention.

Les chercheurs ont aussi demandé à Astra de créer les poids de modèles capables de jouer à des jeux simples, en s’appuyant sur les règles des jeux et le code source plutôt que sur des données d’entraînement. Dans Breakout, son modèle a obtenu un score moyen de 517 points, contre 25 pour un modèle entraîné de façon conventionnelle. Dans deux autres jeux, les modèles d’Astra n’ont pas surpassé les versions entraînées le plus longtemps. Pour le jeu de go sur un plateau de 9 × 9, un réseau ajusté par Astra au fil de 50 cycles de tests a battu un modèle de taille comparable entraîné sur environ 20 millions de parties.

Les résultats les plus remarquables viennent d’une tentative d’améliorer les performances de Qwen3.5-0.8B en mathématiques. À l’aide d’un environnement de programmation et de 50 cycles de tests, Astra a modifié 0,016 % des poids du modèle. Sa précision au benchmark MATH-500 est passée de 7,9 % à 48,1 %, tandis que son score de suivi des instructions a progressé de 21 % à 62 %.

La modification a également réduit, sans l’éliminer, un comportement par lequel Qwen génère du texte de façon répétée sans parvenir à une réponse : environ un tiers des réponses atteignaient encore la longueur maximale de texte, contre 93 % auparavant. Astra n’a produit aucune amélioration mesurable lors des tests sur le modèle plus petit Gemma 3 270M, qui présentait rarement le même comportement de répétition en boucle. Les chercheurs suggèrent que la modification de Qwen a pu supprimer un obstacle qui inhibait des capacités déjà présentes, tout en précisant que la réécriture des poids n’a pas démontré de moyen d’ajouter des capacités dont un modèle est fondamentalement dépourvu.

Les chercheurs envisagent d’éventuelles applications pour auditer les poids des modèles à la recherche de problèmes de sécurité et apporter des changements ciblés à leur comportement sans réentraînement coûteux. Ils reconnaissent que cette approche reste limitée et indiquent que la mise au point d’un benchmark permettant de l’évaluer systématiquement constitue une prochaine étape. Les journaux des expériences sont disponibles sur GitHub, et le modèle Qwen modifié est publié sur Hugging Face.

Sources: The Decoder.