Anthropic prevede la ricorsiva auto‑miglioramento delle IA entro il 2027

Il benchmark TasteVal e il concetto di “research taste”

Il laboratorio di ricerca P‑Zero Research ha introdotto TasteVal, un nuovo benchmark pensato per valutare quanto bene i sistemi di intelligenza artificiale possano progettare esperimenti scientifici e interpretarne i risultati. Il nome “research taste” (in italiano “gusto della ricerca”) indica tre capacità fondamentali: identificare le domande di ricerca più promettenti, ideare esperimenti adeguati e interpretare correttamente i dati prodotti.

TasteVal, tuttavia, si concentra solo sulle ultime due capacità, poiché la selezione delle domande di ricerca è considerata una forma di intuizione scientifica ancora fuori dalla portata dei modelli attuali.

Struttura del benchmark

• Otto compiti specifici, ognuno con un obiettivo di ricerca definito nella costruzione di grandi modelli linguistici.
• I compiti includono la scelta di dati di addestramento, strategie di pre‑training, fine‑tuning, ottimizzazione per preferenze umane e mitigazione di input manipolativi.
• Un agente di programmazione predefinito esegue gli esperimenti su una singola GPU Nvidia H100, garantendo che le capacità di programmazione non distorcano i risultati.
• Un ciclo di sperimentazione termina al raggiungimento di 40 ore di GPU o 120 ore di tempo reale.

Per fornire un confronto, 24 esperti provenienti da OpenAI, Google DeepMind, Nvidia e Microsoft Research hanno svolto gli stessi compiti, con almeno due professionisti per attività. Il punteggio migliore di ciascuna attività è stato usato come riferimento umano.

Misurazione dell’efficienza computazionale

P‑Zero traduce il “research taste” in termini di efficienza computazionale, partendo dal presupposto che il tempo di calcolo per gli esperimenti sia una risorsa scarsa nella ricerca IA. Il modello che raggiunge lo stesso punteggio umano impiegando la metà del tempo computazionale ottiene un “Compute‑Multiplicator” di 2, ossia il doppio del gusto della ricerca.

Risultati chiave

• Il modello di Anthropic, Opus 5.5, ha raggiunto un Compute‑Multiplicator di 2,3, superando il livello umano con meno della metà della spesa computazionale.
• La varianza statistica va da 1,15 a 4,37, indicando che alcuni test hanno mostrato miglioramenti più modesti.
• Il costo medio di un esperimento per il modello è stato circa 1/30 di quello degli esperti umani.
• Il Compute‑Multiplicator è raddoppiato approssimativamente ogni tre mesi a partire da dicembre 2025, con un intervallo di incertezza tra 1,7 e 5,0 mesi.

Il grafico fornito da P‑Zero evidenzia una curva di crescita più ripida a partire dal cambio d’anno 2025/2026, in contrasto con l’aumento più lento osservato negli anni precedenti.

Le previsioni di Jack Clark

Jack Clark, co‑fondatore di Anthropic e curatore del newsletter Import AI, interpreta questi dati come segnale che la ricorsiva auto‑miglioramento (RSI) potrebbe diventare realtà già nel 2027. In precedenza, Clark aveva stimato una probabilità del 60 % per il 2028 e del 30 % per il 2027. L’accelerazione osservata nei benchmark ha spostato la sua previsione di un anno in anticipo.

Clark ha sempre sottolineato il ruolo della creatività nell’automazione della ricerca. Ora, i progressi nei “mathematical breakthroughs” e in benchmark come TasteVal gli sembrano indizi concreti che le IA stanno superando la barriera della semplice capacità di modellare dati, avvicinandosi a una vera capacità di generare nuove ipotesi scientifiche.

Critiche e limiti del benchmark

Nonostante l’entusiasmo, TasteVal non dimostra direttamente che le IA si auto‑migliorino. Il benchmark misura solo una parte ristretta del lavoro scientifico: la progettazione e valutazione di esperimenti, ma non la definizione delle direzioni di ricerca a lungo termine.

Critici come Herbie Bradley hanno contestato l’idea che i modelli possano sostituire i ricercatori junior, soprattutto per compiti più complessi che richiedono creatività, capacità di pianificazione a lungo termine e giudizio etico.

Prospettive di altre ricerche

• Uno studio della Fudan University ha mostrato che, in un contesto di sviluppo di modelli IA, gli agenti autonomi hanno proposto il 55 % dei metodi, ma gli esseri umani hanno preso più dell’85 % delle decisioni finali.
• Il risultato suggerisce che, sebbene le IA possano generare idee, la valutazione critica e la scelta della direzione di ricerca rimangono dominati da esperti umani.

Il dibattito sulla RSI nelle grandi aziende

Il lancio di TasteVal coincide con una discussione più ampia avviata dai principali laboratori di IA. Anthropic ha dichiarato a giugno che la RSI non è ancora stata raggiunta, ma potrebbe arrivare “prima di quanto la maggior parte delle istituzioni sia pronta”. Il CEO di Anthropic, Dario Amodei, ha chiesto una rallentamento controllato dello sviluppo.

OpenAI riconosce che una RSI completamente autonoma non è ancora in corso, ma afferma che dovrebbe essere perseguita solo se è garantita una supervisione umana adeguata.

Il passaggio dal misurare la pura performance su compiti ben definiti (matematica, programmazione) a valutare la capacità di prendere decisioni di ricerca rappresenta una svolta concettuale nella valutazione dei progressi dell’IA.

Implicazioni future se il trend si conferma

Qualora il trend di crescita del “research taste” osservato da TasteVal si confermasse in altri test, si otterrebbero due effetti combinati:

• Accelerazione della velocità di sviluppo dell’IA, poiché i modelli riuscirebbero a generare e testare ipotesi più rapidamente e a costi inferiori.
• Riduzione dei costi di ricerca, consentendo a più organizzazioni di sperimentare con risorse limitate.

Tuttavia, la dipendenza crescente da sistemi autonomi solleva questioni etiche e di governance: chi è responsabile delle scoperte errate? Come si garantisce che le linee di ricerca rimangano allineate con gli interessi della società?

Conclusioni

Il benchmark TasteVal fornisce una prima misurazione quantitativa del “gusto della ricerca” delle IA, mostrando che modelli come Anthropic Opus 5.5 possono superare gruppi di esperti umani con una frazione della spesa computazionale. Jack Clark interpreta questi dati come un segnale che la ricorsiva auto‑miglioramento potrebbe diventare realtà entro il 2027, anticipando le sue previsioni precedenti.

Nonostante le limitazioni – il benchmark non copre la scelta strategica della ricerca né dimostra una vera auto‑miglioramento – i risultati indicano un cambiamento di paradigma nella valutazione dei progressi dell’IA. La comunità scientifica e le istituzioni dovranno affrontare nuove sfide di sicurezza, etica e controllo, mentre la capacità delle macchine di condurre ricerca indipendente continua a crescere rapidamente.