Google a annoncé Gemini 4 Carbon, son dernier modèle de pointe, en mettant en avant ses capacités en cybersécurité, en programmation et dans l’exécution de tâches prolongées en plusieurs étapes. L’entreprise affirme que Carbon arrive en tête de l’indice actualisé Artificial Analysis Intelligence Index v5.0, avec un score de 59.
Lors de tests externes de cybersécurité, Carbon a obtenu 88,2 % à SEC-bench Pro pour la détection de vulnérabilités, 54,8 % à ExploitGym pour tester la possibilité d’exploiter des failles et 71,0 % à CWE-bench pour corriger des vulnérabilités. Google indique que ces évaluations ont été menées sans garde-fous. L’entreprise rapporte également que, lors de tests internes, Carbon a plus que doublé le taux de réussite d’Argon dans la génération de code sécurisé.
Le modèle est conçu pour les flux de travail d’ingénierie de longue durée. Google affirme que ses équipes internes l’ont utilisé pour des tâches s’étalant sur plusieurs jours, notamment pour repérer et corriger des bogues subtils dans de grandes bases de code et des systèmes de bas niveau. L’entreprise fait également état de meilleurs résultats en développement web : Carbon a gagné 89 points Elo et atteint la quatrième place sur WebDev Arena, avec un score de 1 768.
Google indique avoir apporté des changements aux mesures d’alignement et de sécurité de Carbon, notamment pour réduire les affirmations non étayées et les tentatives d’exploitation de raccourcis. Lors de tests internes, les tricheries réussies sur Terminal-Bench 4.0 sont tombées à 0,0 %, tandis que les tentatives ont diminué à 0,4 %. L’entreprise rapporte également une baisse de près de 80 % des alertes de désalignement de gravité élevée dans des environnements de programmation réels, ainsi qu’un taux de réussite des attaques de 0,0 % au test Gray Swan Indirect Prompt Injection.
Carbon utilise la même approche de sécurité à plusieurs niveaux que Gemini 4 Argon. Selon Google, celle-ci comprend l’entraînement du modèle, des protections contre les utilisations abusives en temps réel, une résistance aux injections de prompts et la surveillance de la chaîne de pensée. Google participe au processus volontaire du gouvernement américain d’évaluation des modèles avant leur diffusion et commencera cette semaine à donner accès au modèle à un sous-groupe de défenseurs du cyberespace. L’accès devrait s’étendre progressivement à des partenaires de confiance par l’intermédiaire du programme Fairwind, avant une mise à disposition plus large aux développeurs, aux entreprises et aux consommateurs, prévue ultérieurement.
Gemini 4 Carbon aura les mêmes tarifs de lancement pour l’API qu’Argon : 2 $ par million de jetons d’entrée et 10 $ par million de jetons de sortie. Les jetons d’entrée mis en cache coûteront 95 % de moins que le tarif standard des jetons d’entrée.
Sources: Google DeepMind Blog.