Google Gemini 4 Argon si avvicina alla vetta nei benchmark dell'IA
Google DeepMind ha raggiunto un traguardo significativo nel campo dell'intelligenza artificiale, diventando il secondo grande laboratorio a superare il 95% nel benchmark ARC-AGI-3. Il nuovo modello Frontier, Gemini 4 Argon, ha ottenuto un punteggio del 97,5% nel "Provider Adapter Harness", che utilizza funzioni specifiche del fornitore come il mantenimento del ragionamento e la compressione del contesto, a un costo di 4.800 dollari USA.
Questo risultato posiziona Google, secondo l'ARC Prize, al secondo posto dopo OpenAI, che ha raggiunto la soglia del 95% nel benchmark considerato il più difficile per la risoluzione di problemi generali. Solo GPT-6 Astra ha ottenuto un punteggio superiore, con il 99,9%.
Prestazioni e confronto con altri modelli
Nel "Provider Adapter Harness", Gemini 4 Argon ha raggiunto il 97,5% nel benchmark ARC-AGI-3 a un costo di 4.800 dollari USA. Tuttavia, nella modalità standard, il valore è sceso al 49,8%. In confronto, GPT-6 Astra ha richiesto il 62% in meno di azioni rispetto alla base di riferimento umana nei 25 giochi pubblici di ARC-AGI-3 e ha stabilito o superato i record di velocità in tre giochi, avvicinandosi al 10% del record in altri sei.
In ARC-AGI-2, Argon ha ottenuto il 91,3% a un costo di 0,32 dollari USA per compito, mentre in ARC-AGI-1 ha raggiunto il 98,5% a un costo di 0,16 dollari, calcolato al prezzo di introduzione di due dollari per i token di input e dieci dollari per i token di output per milione.
Controversie su ambienti di test e interruzioni API
Nella modalità "Standard Harness", che permette solo note semplici tra le partite, Argon ha ottenuto il 49,8% a un costo di 5.800 dollari USA con un ragionamento basso. Questa divisione è derivata da una controversia del luglio 2026, quando GPT-5.6 Sol di OpenAI ha superato il modello Claude Opus 5 in ARC-AGI-3 grazie a due impostazioni API.
Nella modalità standard, GPT-5.6 Sol ha ottenuto solo il 7,8%, poiché questa modalità elimina il pensiero interno dopo ogni azione e utilizza un'interfaccia più vecchia senza le funzioni più recenti dell'API di Claude. Con l'API Responses di OpenAI, che mantiene il processo di pensiero ("Retained Reasoning") e una compressione intelligente del contesto ("Compaction"), il modello è salito al 38,3%, superando Opus 5 al 30,2%.
ARC-Prize-Mitgründer François Chollet ha quindi permesso impostazioni API generali e pubblicamente accessibili, vietando ambienti costruiti specificamente per il benchmark. I possibili problemi di comparabilità sono accettabili, purché le impostazioni e i costi siano chiaramente documentati.
Nella modalità standard, problemi API hanno impedito ad Argon di completare tutti i 55 giochi: con un ragionamento basso, il sistema ha completato 42 giochi (49,8%), con un ragionamento medio 46 giochi (46,3%), e solo 19 con il livello più alto, motivo per cui ARC Prize non ha pubblicato un valore. I risultati totali riportati includono comunque tutti i 55 giochi, inclusi i punti parziali dei giochi interrotti.
La discrepanza tra il 97,5% nel Provider-Adapter-Harness e il 49,8% nel Standard-Harness mostra quanto sia decisiva l'ambiente di test tecnico per i risultati dei benchmark. Questo solleva la domanda su quanto siano significativi i valori massimi nei benchmark se dipendono fortemente da funzioni API specifiche del fornitore che non sono sempre disponibili o comparabili nella vita quotidiana.
Ritardo in matematica e ingegneria del software nell'ECI-Index
Anche presso l'Istituto di Ricerca Epoch AI si vede la corsa di Google: nel Epoch Capabilities Index (ECI), Argon raggiunge 165 punti, pari a Fable 5.1, ma leggermente indietro rispetto a Opus 5.5 (167) e GPT-6 Astra (166). L'ECI combina oltre 50 benchmark in una scala di capacità generale, determinando la difficoltà relativa dei singoli test tramite confronto tra modelli e ponderando le attività più difficili.
Con un valore ECI di 165 punti, Google si avvicina alla cima attuale dell'IA con GPT-6 Astra (166) e Opus 5.5 (167) come non accadeva da Gemini 3.1 Pro a febbraio 2026. Questo è stato confermato anche da Artificial Analysis e Vals.ai con metodi di misurazione simili.
Tuttavia, le prestazioni variano notevolmente a seconda del dominio: secondo Epoch AI, Argon guida alcuni benchmark di conoscenza, agenti e immagini, ma occupa solo l'ottavo posto nel Math ECI e il sesto nel Software Engineering Index (SWE ECI) secondo stime preliminari.