Google ha annunciato Gemini 4 Carbon, il suo più recente modello frontier, mettendone in evidenza le capacità in materia di cybersicurezza, programmazione e attività prolungate articolate in più fasi. L’azienda afferma che Carbon si colloca al primo posto nell’aggiornato Artificial Analysis Intelligence Index v5.0, con un punteggio di 59.
Nei benchmark esterni di cybersicurezza, Carbon ha ottenuto l’88,2% su SEC-bench Pro nell’individuazione di vulnerabilità, il 54,8% su ExploitGym nella verifica della sfruttabilità e il 71,0% su CWE-bench nell’applicazione di patch alle vulnerabilità. Google afferma che queste valutazioni sono state condotte senza guardrail. L’azienda riferisce inoltre che, nei test interni, Carbon ha più che raddoppiato il tasso di successo di Argon nella generazione di codice sicuro.
Il modello è progettato per flussi di lavoro ingegneristici di lunga durata. Google afferma che i team interni lo hanno impiegato per attività durate giorni, tra cui individuare e correggere bug insidiosi in grandi basi di codice e sistemi di basso livello. Riferisce inoltre risultati migliori nello sviluppo web: Carbon ha guadagnato 89 punti Elo, raggiungendo il quarto posto su WebDev Arena, con un punteggio di 1.768.
Google afferma di aver apportato modifiche all’allineamento e alle misure di sicurezza di Carbon, riducendo le affermazioni non supportate e i tentativi di sfruttare scorciatoie. Nei test interni, i casi di cheating riusciti su Terminal-Bench 4.0 sono scesi allo 0,0%, mentre i tentativi sono diminuiti allo 0,4%. L’azienda riferisce inoltre una riduzione di quasi l’80% degli avvisi di disallineamento ad alta gravità negli ambienti di programmazione dal vivo e un tasso di successo degli attacchi dello 0,0% sul benchmark Gray Swan Indirect Prompt Injection.
Carbon adotta lo stesso approccio multilivello alla sicurezza e alla protezione di Gemini 4 Argon, che, secondo Google, comprende l’addestramento del modello, difese in tempo reale contro gli usi impropri, resilienza alla prompt injection e monitoraggio della catena di pensiero. Google partecipa al programma volontario del governo statunitense per i test dei modelli prima del rilascio e questa settimana inizierà a fornire l’accesso a un sottoinsieme di esperti di sicurezza informatica. Si prevede che l’accesso si estenda gradualmente ai partner di fiducia tramite il Fairwind Program, mentre una disponibilità più ampia per sviluppatori, aziende e consumatori è prevista in un secondo momento.
Gemini 4 Carbon avrà gli stessi prezzi API introduttivi di Argon: 2 dollari per milione di token di input e 10 dollari per milione di token di output. I token di input memorizzati nella cache costeranno il 95% in meno rispetto al prezzo standard degli input.
Fonti: Google DeepMind Blog.