Gli agenti AI hanno un cattivo gusto nelle decisioni a lungo termine e un nuovo benchmark lo dimostra

Gli agenti AI stanno diventando sempre più capaci di svolgere compiti complessi e multi-step, come scrivere articoli di ricerca o sviluppare progetti software. Tuttavia, una nuova ricerca rivela che questi agenti hanno difficoltà a prendere decisioni a lungo termine, con il modello migliore che raggiunge solo il 60% di accuratezza in un nuovo benchmark chiamato Taste-Bench.

Il problema delle decisioni a lungo termine

Gli agenti AI devono costantemente decidere quali ipotesi testare, quale codice sviluppare o quale esperimento eseguire. Queste scelte spesso non mostrano i loro effetti immediatamente. Una cattiva decisione può sembrare accettabile all'inizio, ma il suo vero costo si manifesta solo dopo che l'agente ha esaurito gran parte del suo budget.

I ricercatori chiamano questa capacità di prendere decisioni sagge il "gusto" di un agente. I benchmark esistenti misurano solo se un agente completa un compito, non la qualità dei passaggi lungo il percorso. Taste-Bench è stato progettato per colmare questa lacuna.

Misurare il gusto degli agenti AI

Per giudicare una decisione a lungo termine, non si può farlo nel momento. Un'implementazione pulita e una sloppy possono produrre lo stesso output inizialmente e passare gli stessi test. Il vantaggio dell'approccio pulito si vede solo quando le modifiche successive diventano più facili.

I ricercatori utilizzano il senno di poi. La traiettoria successiva, la traccia registrata di un'esecuzione dell'agente con tutti i suoi passaggi e osservazioni, mostra se una scelta precedente ha funzionato. In pratica, i sistemi di agenti provano lo stesso compito più volte. Questi tentativi si dividono eventualmente in direzioni diverse.

Perché il risultato finale di ogni tentativo rivela il percorso migliore, le esecuzioni stesse forniscono un confronto etichettato. Gli autori chiamano questo punto di ramificazione un "decision fork". Per misurare il gusto, congelano l'esecuzione al fork, nascondono tutto il lavoro successivo e fanno scegliere a un modello tra i due percorsi.

Tipi di domande in Taste-Bench

Taste-Bench contiene 502 domande, ognuna con il compito originale, la traiettoria fino al fork e due possibili direzioni. Il primo tipo proviene da due tentativi indipendenti dello stesso compito che divergono, dove l'agente non vede mai il percorso sbagliato.

Il secondo tipo proviene da un agente che si corregge all'interno di un'esecuzione singola e prende una deviazione. Qui, la direzione inizialmente scartata e quella successiva di successo formano i due candidati. Questa variante testa se un modello può individuare l'errore prima che l'agente in azione lo faccia.

Risultati del benchmark

Il team ha testato 14 modelli attuali delle famiglie Claude, GPT, Grok, DeepSeek, GLM, MiniMax e Mistral. Ogni domanda è stata posta due volte, una volta nell'ordine normale e una volta con le opzioni invertite. Una domanda è stata contata solo se il modello l'ha azzeccata entrambe le volte. L'indovinare puro ottiene il 25% qui.

Il modello migliore testato, GPT-5.6 Sol, ha ottenuto una media del 59,7%, seguito da vicino da GPT-5.5 al 59,5%. Tutti gli altri modelli hanno ottenuto punteggi ben al di sotto di quello. Nessuno si è avvicinato a risolvere il benchmark, anche se ogni domanda è solo una scelta binaria. I fork di deviazione sono stati costantemente più difficili di quelli paralleli.

Modelli e prove

Per ogni fork, il team ha verificato quanto avanti un osservatore avrebbe dovuto guardare prima che il percorso migliore diventasse chiaro. Quando l'indizio chiave è già visibile nei passaggi precedenti, l'accuratezza media di tutti i modelli raggiunge il 62,3%. Quando quell'indizio appare solo dopo un lavoro successivo esteso, l'accuratezza scende al 21%, vicino all'indovinare casuale. Rispondere a quelle domande significa prevedere il lavoro futuro.

Pensare più a lungo non ha aiutato. I ricercatori hanno ripetuto il test con tre impostazioni di ragionamento per due modelli. Passare dall'impostazione più bassa a quella più alta ha cambiato a malapena l'accuratezza. I modelli hanno speso il maggior numero di token di ragionamento sul livello più difficile, pensando più a lungo sulle domande che hanno sbagliato più spesso. Il team vede questo come un segno che l'indizio necessario non è ancora lì a quei fork.

Migliorare il gusto degli agenti AI

I ricercatori hanno anche dimostrato che il gusto può essere insegnato. Hanno distillato il giudizio di un modello insegnante, che conosce il percorso giusto, in un modello studente che vede solo la domanda. Hanno utilizzato Qwen3.6-27B come base. Su compiti non visti, l'accuratezza dello studente è salita dal 30 al 47,9%.

Questo miglioramento ha dato i suoi frutti nella pratica. Il team ha aggiunto il giudizio dello studente come consiglio nel contesto del compito ad ogni fork e ha lasciato che un agente separato risolvesse il problema. Su 41 compiti SWE-bench Pro tenuti da parte, il tasso di successo è salito dal 14,6 al 33,7%. Un consiglio perfettamente corretto avrebbe raggiunto il 39%, quindi lo studente ha catturato la maggior parte dei guadagni possibili.

Conclusione

Il team conclude che il giudizio degli agenti di pianificazione a lungo termine può essere sia misurato che migliorato. Il benchmark e il codice sono pubblicamente disponibili.

Gli agenti AI ora lavorano da soli per lunghi periodi. Sul benchmark MirrorCode, un modello ha funzionato per 19 giorni su un singolo compito senza aiuto umano. I benchmark standard controllano di solito solo se i test passano alla fine. METR ha già dimostrato che SWE-bench Verified sovrastima significativamente le prestazioni degli agenti di codifica. I professionisti hanno respinto molte soluzioni per bug funzionali di base anche quando i test automatizzati sono passati. Il modello migliore di Taste-Bench, GPT-5.6 Sol, ha anche registrato il tasso più alto di imbroglio su test software mai registrato nelle valutazioni di METR.