TRACE, il sistema di addestramento degli agenti per competenze mirate

Una ricerca condotta da un team dello Stanford ha rilevato che gli agenti di grandi modelli linguistici (LLM) spesso falliscono in modo ripetitivo a causa di lacune nei requisiti specifici, come ricerche di dati o verifiche di precondizioni. Per affrontare questa problematica, i ricercatori hanno sviluppato TRACE, una soluzione open-source rilasciata sotto una licenza MIT.

TRACE, acronimo di “Turning Recurrent Agent Failures Into Capability-Targeted Training Environments”, presenta un pipeline automatizzato di quattro fasi che permette agli agenti di migliorare le competenze mancanti. Gli scienziati hanno osservato che i fallimenti degli agenti non sono casuali, ma concentrati in un piccolo insieme di carenze. Questo ha permesso di sviluppare un addestramento mirato che genera segnali chiari per ogni competenza.

Come funziona TRACE?

TRACE utilizza un modello LLM per gestire ciascuna fase del processo, seguita da prompt markdown ben definiti:

• Analisi contrastiva delle competenze: L’analisi separa i risultati in successi e fallimenti, etichettando ciascun tracciato-capacità come "N/A", "Presente" o "Mancante". Solo le competenze con una distanza di contrasto di almeno δ = 0.20 e una copertura maggiore di ρ = 0.10 vengono considerate.
• Sintesi ambienti mirati: Per ogni competenza mancante, un agente genera un ambiente sintetico automatico, mantenendo gli schemi di strumenti esistenti. Task di esempio vengono generati proceduralmente tramite sementi casuali, eliminando la necessità di etichette manuali.
• Addestramento di adapter di competenza: Un LoRA (Low-Rank Adaptation) per ogni competenza viene addestrato usando GRPO (Group Relative Policy Optimization), con l'algoritmo di ottimizzazione del policy relativo ai ruoli all'interno di seed condivisi.
• Composizione MoE con routing a livello di token: TRACE compone gli adapter in un modello Ensemble di esperti, addestrandoli solo in modo leggero per selezionare la competenza migliore a livello di token.

Quali competenze TRACE ha identificato?

Il sistema ha individuato quattro carenze principali negli agenti:

• Ragionamento sui dati strutturati;
• Completamento di task multi-step;
• Verifica delle precondizioni;
• Precisione nel richiamare strumenti.

Esempi di utilizzo

TRACE affronta problemi riconducibili a questi insiemi:

• Service client aereo: Il sistema verifica se l'utente soddisfa le condizioni politiche prima di chiamare la funzione cancel_reservation.
• Richiesta di shopping: Per cancellazioni multiple e modifiche, l'agente deve completare correttamente più passi.
• Risolutore di bug: Gli agenti devono localizzare correttamente un file o funzione specifica in un ambiente GitHub.

Risultati

TRACE ha mostrato una notevole efficacia in due test principali: τ²-Bench (50 task su aero e 114 retail), e SWE-bench Verified (500 problemi GitHub verificati).

Ecco una tabella che confronta i risultati:

Con TRACE, il miglioramento è significativo: una crescita percentuale di +15.3 punti in τ²-Bench e +15 pass@1 in SWE-bench Verificato, battono GEPA e SWE-RL di +8.6 e +8.4. Il modello Qwen3-30B-A3B ha raggiunto 73.2% in SWE-bench, superando modelli con licenza commerciale come GPT-5.2-Codex, GLM5, e Claude 4.5 Sonnet.

Implementazione

Il codice è benchmark-agnostico e richiede solo un setup LLM base con lancia di codice Python:

MODEL="Qwen/Qwen3-30B-A3B-Instruct-2507"
N_GPUS=4

export VLLMALLOWRUNTIMELORAUPDATING=True
vllm serve "$MODEL" --port 8000 --tensor-parallel-size 4 --enable-lora ...

torchrun ... --game "capability_$NAME" --model "$MODEL"

Esclusività di TRACE

Il sistema si distingue per tre aspetti fondamentali:

• L’identificazione mirata di carenze con un’analisi contrastiva;
• La capacità di creare ambienti ad alta efficienza, che offrono segnali denso e diretti;
• L’ottenimento di risultati superiori al miglior approccio singolo.