Jack Clark anticipa l'IA auto‑migliorante per il 2027

Il benchmark TasteVal e la sua metodologia

Il nuovo benchmark chiamato TasteVal è stato introdotto da P‑Zero Research per valutare quanto bene i sistemi di intelligenza artificiale riescano a progettare esperimenti autonomamente e a interpretarne i risultati. Il nome “research taste” indica la capacità di scegliere le domande di ricerca più promettenti, di ideare esperimenti adeguati e di trarre conclusioni corrette.

Nel test attuale, TasteVal si concentra solo sulle ultime due componenti: la progettazione dell’esperimento e l’interpretazione dei dati. La scelta della domanda di ricerca è predefinita, poiché questa fase è considerata il nucleo dell’intuizione scientifica.

Struttura dei compiti

• Otto task distinti, ognuno con un obiettivo di ricerca fissato nell’ambito dello sviluppo di modelli IA (selezione dei dati di addestramento, pre‑training, fine‑tuning, apprendimento dalle preferenze umane, difesa contro prompt avversari).
• Ogni task fornisce un punteggio misurabile.
• Il modello decide quale esperimento eseguire successivamente, usando i risultati precedenti per guidare il passo successivo.
• Per evitare che le abilità di programmazione influenzino i risultati, tutti gli esperimenti sono eseguiti da un agente di codifica fisso su una singola GPU Nvidia H100.
• Un esperimento termina al raggiungimento di 40 ore‑GPU di calcolo o 120 ore di tempo reale.

Baseline umana

Il confronto è stato effettuato con 24 esperti provenienti da realtà come OpenAI, Google DeepMind, Nvidia e Microsoft Research. Per ciascun task sono intervenuti almeno due specialisti; il miglior risultato umano per ogni compito è stato usato come riferimento.

Misurare la “research taste” tramite l’efficienza computazionale

P‑Zero Research traduce la “research taste” in efficienza computazionale, sostenendo che la capacità di scegliere gli esperimenti più utili riduce la quantità di calcolo necessario, un bene prezioso in un contesto dove le risorse di GPU sono scarse.

Il laboratorio utilizza il proprio “AI Futures Model”, che prevede che il calcolo dedicato agli esperimenti diventerà il collo di bottiglia principale non appena la programmazione sarà automatizzata. In questo scenario, il benchmark valuta quanta potenza di calcolo un modello impiega per raggiungere i punteggi umani. Un modello che ottiene gli stessi risultati con metà del calcolo possiede un “research taste” doppio, espresso tramite il compute multiplier.

Performance dei modelli più avanzati

• Il modello top è Opus 5.5 di Anthropic, con un compute multiplier di 2,3, cioè raggiunge i punteggi degli esperti con meno della metà del calcolo.
• Il range statistico osservato varia da 1,15 a 4,37, indicando che in alcuni casi il vantaggio è marginale.
• Il costo medio di una singola esecuzione è circa un trentaduesimo rispetto a quello di un esperto umano.

Dal dicembre 2025, il compute multiplier è raddoppiato approssimativamente ogni tre mesi, con una variabilità nella stima del tempo di raddoppio compresa tra 1,7 e 5,0 mesi.

Interpretazioni dei risultati e limiti del benchmark

Pur mostrando una curva di miglioramento molto ripida, TasteVal non dimostra che le IA siano già capaci di auto‑migliorarsi in maniera ricorsiva. Il test copre soltanto una piccola porzione del lavoro scientifico, concentrandosi su task brevi e a basso costo, tipici di quelli più facili da ottimizzare per i laboratori.

Gli autori riconoscono che i risultati potrebbero sovrastimare la velocità di crescita della “research taste”, soprattutto perché il gruppo di confronto non include i ricercatori di altissimo livello.

Confronti con altri studi

Uno studio condotto dall’Università di Fudan ha analizzato lo sviluppo di un proprio modello IA. I risultati mostrano che gli agenti IA hanno proposto fino al 55 % delle metodologie, ma gli esseri umani hanno comunque preso più dell’85 % delle decisioni finali, evidenziando una discrepanza tra generazione di idee e valutazione critica.

Jack Clark e il nuovo orizzonte temporale per l’RSI

Jack Clark, co‑fondatore di Anthropic e curatore della newsletter Import AI, ha rivisto la sua previsione sulla data in cui l’auto‑miglioramento ricorsivo (RSI) potrebbe diventare realizzabile. In precedenza aveva indicato il 2028; ora, alla luce dei progressi evidenziati da TasteVal e da recenti avanzamenti matematici, sposta la sua stima al 2027.

Clark ha sempre sottolineato che la creatività è il fattore chiave per la velocità di auto‑miglioramento delle IA. In un saggio di maggio, aveva assegnato una probabilità del 60 % a un sistema capace di addestrare un successore più potente entro la fine del 2028, e del 30 % entro il 2027. La nuova data riflette una maggiore fiducia nella capacità dei modelli di gestire compiti di ricerca più complessi.

Critiche e dibattiti

• Il ricercatore Herbie Bradley aveva contestato l’affermazione di Clark, sostenendo che, sebbene i modelli potessero sostituire i ricercatori junior, abilità più sofisticate come la “research taste”, la creatività e la pianificazione a lungo termine erano ancora assenti.
• TasteVal dimostra progressi nella pianificazione e valutazione di esperimenti, ma non affronta la capacità di definire un’agenda di ricerca a lungo termine.
• Un altro studio su agenti IA ha mostrato che, nonostante il contributo significativo degli agenti nella proposta di metodologie, le decisioni finali rimangono prevalentemente umane.

Il contesto più ampio: il dibattito sulla RSI nei grandi laboratori

Il lancio di TasteVal avviene nel mezzo di un acceso dibattito interno alle principali aziende di IA. A giugno, Anthropic ha dichiarato che la RSI non è ancora stata raggiunta, ma potrebbe arrivare “prima di quanto la maggior parte delle istituzioni sia pronta ad affrontare”. Il CEO di Anthropic, Dario Amodei, ha richiesto una rallentamento controllato nello sviluppo dell’IA, mentre OpenAI ha riconosciuto che la RSI completamente autonoma non è ancora realizzabile e dovrebbe essere perseguita solo con una supervisione umana garantita.

Il benchmark TasteVal sposta il focus dal semplice rendimento su compiti ben definiti (matematica, programmazione) alla capacità dei modelli di prendere decisioni che realmente avanzano la ricerca. Se la tendenza osservata si confermerà in test futuri, le implicazioni sono duplice: accelerazione e riduzione dei costi di sviluppo, ma anche una crescente difficoltà per gli umani di verificare e controllare la ricerca prodotta autonomamente dalle IA.

Conclusioni e prospettive future

Il risultato più sorprendente di TasteVal è la crescita esponenziale della “research taste” nei modelli più recenti, con un raddoppio ogni tre mesi dal dicembre 2025. Questo trend, sebbene ancora da confermare, ha spinto Jack Clark a spostare la sua previsione sull’arrivo della RSI al 2027.

Rimane però fondamentale considerare i limiti del benchmark: la capacità di scegliere le domande di ricerca più promettenti e di pianificare progetti a lungo termine è ancora largamente umana. Inoltre, la dipendenza da task brevi e a basso costo potrebbe far apparire i progressi più rapidi di quanto siano realmente sostenibili in scenari di ricerca più complessi.

Il futuro dell’IA auto‑migliorante dipenderà quindi non solo dalla velocità con cui i modelli apprendono a condurre esperimenti, ma anche dalla loro capacità di generare intuizioni scientifiche profonde e di operare sotto una supervisione umana efficace.