NVIDIA lancia SoL-Pi: riduce il traffico token degli agenti di codifica fino al 49%

Gli agenti di codifica basati su intelligenza artificiale sono passati da minuti a ore di esecuzione continua, ma ogni modifica, test e lettura di log ritorna nel contesto del modello, aumentando drasticamente il consumo di token. Per affrontare questo problema, un gruppo di ricercatori di NVIDIA, della National Taiwan University e del MIT ha rilasciato SoL‑Pi, un pacchetto di quattro meccanismi di efficienza progettati per l’agente open‑source Pi.

Che cos’è SoL‑Pi?

SoL‑Pi (Self‑Optimising Loop – Pi) è una collezione di ottimizzazioni individuate da un’intelligenza artificiale che esegue “auto‑research loops” a livello di harness, ovvero lo strato che gestisce chiamate agli strumenti, contesto, osservazioni e delega. L’intera ricerca è stata valutata con la suite EdgeBench, composta da 51 compiti, e i risultati mostrano una riduzione del traffico token tra il 44,7 % e il 49,0 % rispetto a Pi, con un calo dei costi API di circa il 33 %.

Distribuzione e compatibilità

SoL‑Pi è disponibile su GitHub all’indirizzo NVlabs/sol-pi sotto licenza MIT. Non richiede modifiche al codice sorgente di Pi: funziona con una versione non modificata di Pi 0.85.1 e con Node.js 22.19 o versioni successive. La semplicità di installazione lo rende immediatamente utilizzabile da chiunque lavori con agenti di codifica basati su Pi.

Perché puntare sull’harness?

La maggior parte delle ottimizzazioni tradizionali mira a ridurre il costo per token tramite kernel più veloci, quantizzazione o modelli più economici. SoL‑Pi, invece, riduce quanti token vengono consumati durante l’esecuzione di un compito. L’harness è la componente che media le interazioni con gli strumenti, gestisce il contesto e organizza la delega; ottimizzarlo è complesso perché le sue parti sono strettamente accoppiate: una modifica in un punto può spostare il costo in un altro.

Meta‑harness e limiti delle soluzioni automatiche

Progetti come Meta‑Harness hanno automatizzato la ricerca di miglioramenti all’harness, ma uno studio recente ha evidenziato che tali harness evoluti tendono a sovradattarsi ai compiti di ricerca, offrendo guadagni marginali su scenari non visti. SoL‑Pi affronta questo problema con una ricerca più ampia e rigorosa, garantendo che i miglioramenti siano generalizzabili.

Come funziona la ricerca automatica

Un agente di ricerca osserva le tracce di esecuzione di un agente Pi di base, propone modifiche all’harness e le testa in modo sistematico. La ricerca ha coperto:

• 152 direzioni proposte, distribuite in 6 famiglie: contesto, progressi, strumenti, delega, prompt e policy, miglioramento e valutazione.
• 535 ambienti eseguibili: 495 derivati da coppie issue‑pull‑request di GitHub e 40 task sintetici con verificatori eseguibili.
• Oltre 3.000 esecuzioni e più di 60.000 interazioni agente‑ambiente.

Ogni ciclo di ricerca è isolato e usa il ciclo di autoresearch esteso con un passo di implementazione “Ralph Loop” e una revisione indipendente. Le regole di accettazione sono fissate prima dell’avvio e non possono essere modificate dall’ottimizzatore; ogni metrica di capacità deve rimanere entro una tolleranza predefinita e il candidato deve migliorare almeno una metrica di efficienza.

EdgeBench: valutazione su compiti tenuti in riserva

EdgeBench rimane un set di test riservato. Dei 51 compiti pubblici, 11 sono usati per l’accettazione unilaterale di candidati congelati, mentre 40 sono impiegati per la valutazione finale. I risultati di EdgeBench non influiscono sul processo di ricerca, garantendo una valutazione imparziale.

I quattro meccanismi che hanno superato la ricerca

• Action Fusion: unisce l’edit di un file e il comando di test/build in una singola richiesta allo strumento, restituendo entrambi i risultati in una sola osservazione, eliminando un round‑trip del modello.
• Online Context Compact: monitora i passi del piano tramite update_plan. Quando un passo termina, il harness stima i risparmi di input rimanenti e, se superano il costo aggiuntivo di riscrivere la cache del prompt, avvia la compattazione nativa di Pi o lo fa quando il contesto si avvicina al limite della finestra.
• ObservationPack: gli output degli strumenti superiori a 10 KiB vengono archiviati localmente e inviati per le prime due richieste del provider. Dalla terza richiesta in poi, il modello riceve un handle stabile, la dimensione originale e un estratto delle prime e ultime righe, mantenendo la possibilità di recuperare la pagina completa tramite l’handle.
• Evidence‑Preserving Reducer: i log di build e test di almeno 4 KiB vengono inviati a un modello più economico, GPT‑5.6 Luna in modalità high, che genera una ricevuta compatta. Un verificatore deterministico controlla schema, hash della sorgente, stato di uscita, citazioni precise e dimensione. Il harness ricade sul log originale solo in tre casi: verifica fallita, credenziali sospette o ricevuta non più piccola.

Risultati su EdgeBench

La tabella seguente sintetizza le metriche chiave per i diversi backend e configurazioni:

• GPT‑5.6 Sol – Codex: 3,05 B token, $1 787, punteggio medio 34,7.
• GPT‑5.6 Sol – Pi: 2,15 B token, $1 339, punteggio medio 44,8.
• GPT‑5.6 Sol – SoL‑Pi (Efficienza): 1,10 B token, $894, punteggio medio 42,0.
• GPT‑5.6 Sol – SoL‑Pi (Performance): 2,02 B token, $1 271, punteggio medio 47,2.
• Opus 5 – Claude Code: