Google hat Gemini 4 Carbon angekündigt, sein neuestes Frontier-Modell, und dabei dessen Fähigkeiten in den Bereichen Cybersicherheit, Programmierung und lang andauernde Aufgaben mit mehreren Schritten hervorgehoben. Das Unternehmen gibt an, dass Carbon im aktualisierten Artificial Analysis Intelligence Index v5.0 mit einer Punktzahl von 59 den ersten Platz belegt.
Bei externen Cybersicherheits-Benchmarks erzielte Carbon 88,2 % bei SEC-bench Pro für das Auffinden von Sicherheitslücken, 54,8 % bei ExploitGym für das Testen der Ausnutzbarkeit und 71,0 % bei CWE-bench für das Beheben von Sicherheitslücken. Google zufolge wurden diese Evaluierungen ohne Schutzvorkehrungen durchgeführt. Das Unternehmen berichtet außerdem, dass Carbon in internen Tests die Erfolgsrate von Argon beim Generieren sicheren Codes mehr als verdoppelt hat.
Das Modell ist für lang andauernde technische Arbeitsabläufe konzipiert. Google zufolge haben interne Teams es bereits für Aufgaben eingesetzt, die sich über mehrere Tage erstreckten, darunter das Aufspüren und Beheben subtiler Fehler in großen Codebasen und Low-Level-Systemen. Zudem berichtet das Unternehmen von verbesserten Ergebnissen in der Webentwicklung: Carbon gewann 89 Elo-Punkte hinzu und erreichte mit einer Punktzahl von 1.768 den vierten Platz in der WebDev Arena.
Google gibt an, Änderungen an den Maßnahmen zur Ausrichtung und Sicherheit von Carbon vorgenommen zu haben, darunter die Verringerung unbelegter Behauptungen und von Versuchen, Abkürzungen auszunutzen. In internen Tests sank erfolgreiches Schummeln bei Terminal-Bench 4.0 auf 0,0 %, während die Zahl der Versuche auf 0,4 % zurückging. Das Unternehmen berichtet außerdem von einem Rückgang der Warnmeldungen zu schwerwiegenden Fehlanpassungen in Live-Coding-Umgebungen um fast 80 % sowie einer Erfolgsrate von 0,0 % bei Angriffen im Benchmark Gray Swan Indirect Prompt Injection.
Carbon nutzt denselben mehrschichtigen Sicherheitsansatz wie Gemini 4 Argon, der Google zufolge Modelltraining, Abwehrmaßnahmen gegen Missbrauch in Echtzeit, Widerstandsfähigkeit gegen Prompt Injection und die Überwachung von Gedankengängen umfasst. Google beteiligt sich am freiwilligen Verfahren der US-Regierung zur Prüfung von Modellen vor ihrer Veröffentlichung und wird einer Teilgruppe von Cyberabwehrkräften ab dieser Woche Zugang gewähren. Der Zugang soll schrittweise auf vertrauenswürdige Partner im Rahmen des Fairwind Program ausgeweitet werden; eine breitere Verfügbarkeit für Entwickler, Unternehmen und Verbraucher ist für einen späteren Zeitpunkt geplant.
Für Gemini 4 Carbon gelten bei der API dieselben Einführungspreise wie für Argon: 2 $ pro Million Eingabetokens und 10 $ pro Million Ausgabetokens. Zwischengespeicherte Eingabetokens kosten 95 % weniger als der reguläre Preis für Eingabetokens.
Quellen: Google DeepMind Blog.