I 5 migliori framework open‑source di IA agentica

Nel panorama attuale dell’intelligenza artificiale, i framework agentici open‑source stanno emergendo come pilastri per la costruzione di applicazioni complesse basate su LLM. Per capire quali soluzioni siano realmente operative, abbiamo sottoposto a benchmark quattro tra i più popolari: LangGraph, LangChain, AutoGen e CrewAI. La valutazione è stata condotta su 5 task distinti, con 100 esecuzioni per ciascun framework, per un totale di 2 000 run, misurando latenza end‑to‑end, consumo di token e differenze architetturali.

Metodologia del benchmark

La prima fase ha misurato l’overhead di ciascun framework quando chiama un singolo strumento e restituisce il risultato, senza alcun ragionamento avanzato. Successivamente, i task sono stati incrementati in complessità per osservare l’impatto della gestione dello stato, dei loop di verifica e dei meccanismi di retry.

• Task 1: chiamata singola a uno strumento.
• Task 2: mantenimento simultaneo di due gruppi di filtri (persistenza dello stato).
• Task 3: traduzione di condizioni numeriche espresse in linguaggio naturale in parametri per gli strumenti.
• Task 4: processo multi‑step con verifica tra Planner e Analyst.
• Task 5: scenario di errore e auto‑revisione.

Risultati generali

LangGraph ha registrato i valori di latenza più bassi in tutti i task, dimostrandosi il framework più veloce. LangChain, al contrario, ha mostrato la latenza più elevata ma il consumo di token più contenuto. AutoGen ha mantenuto un equilibrio tra latenza e precisione numerica, mentre CrewAI ha presentato il profilo più pesante in termini di token e tempo, ma con il più alto livello di trasparenza e capacità di gestire processi decisionali complessi.

Analisi per framework

LangGraph

LangGraph si distingue per un’architettura basata su grafi che trasporta lo stato in modo pulito, riducendo al minimo la contaminazione dei dati. Nei log, lo stato è stato mantenuto costante su tutte le 100 esecuzioni, con latenza quasi costante e un numero di passaggi molto stabile. La sua velocità è evidente anche nei task più semplici, dove il tempo di risposta è inferiore a 5 secondi con meno di 900 token di prompt.

LangChain

LangChain completa il task in 5‑6 passaggi sequenziali (Load → Filter → Calculate → Filter → Calculate → Output) con un overhead quasi nullo. La gestione dello stato è minimale, il che spiega la latenza più bassa rispetto a CrewAI, ma superiore a LangGraph. In caso di errore, LangChain aggiorna immediatamente il ragionamento e produce un output JSON corretto, dimostrandosi resiliente contro errori logici.

AutoGen

AutoGen introduce un ciclo di conversazione multi‑agente, con due agenti che scambiano messaggi anche per un task a singolo passaggio. Questo porta a un leggero aumento di latenza e consumo di token rispetto a LangChain e LangGraph, ma la differenza rimane contenuta (circa 2 000‑2 500 token e 8 secondi). AutoGen ha dimostrato una eccellente correttezza numerica, aggiungendo un passaggio di verifica prima di inviare i parametri allo strumento senza penalizzare significativamente la latenza.

CrewAI

CrewAI presenta un “overhead manageriale” strutturale: consuma quasi 3 volte più token e impiega 3 volte più tempo rispetto a LangChain anche per una singola chiamata a uno strumento. Il processo di verifica multi‑step tra i personaggi Planner e Analyst garantisce una maggiore completezza, ma a costo di velocità. Nei task più complessi, CrewAI ha raggiunto il limite di max_iter=10, bloccandosi in loop di pensiero continuo senza produrre output JSON. Inoltre, la serializzazione dell’output ha talvolta alterato valori numerici (es. 68,81 % trasformato in 0,6878), dimostrando che il meccanismo di retry può corrompere parametri corretti.

Confronto sui task specifici

Nel Task 2, che richiedeva la persistenza di due gruppi di filtri, CrewAI ha offerto la massima trasparenza ma con il più alto consumo di risorse, mentre LangGraph e LangChain hanno mostrato latenza e token quasi equivalenti, confermando che l’overhead del ciclo di conversazione non si accumula in modo significativo in catene lineari.

Il Task 3 ha testato la capacità di tradurre condizioni numeriche in parametri precisi. LangGraph, LangChain e AutoGen hanno preservato i parametri originali senza aggiungere passaggi di re‑prompt, completando in meno di 9 secondi con meno di 1 800 token. CrewAI, invece, ha impiegato 30 secondi e 4 360 token, con due schemi di errore: conversione decimale errata e modifica dei parametri durante il retry, portando a risultati incoerenti.

Osservazioni sulla gestione dello stato

L’architettura a macchina a stati di LangGraph non introduce latenza evidente nei task semplici, ma la sua efficacia emerge quando la complessità aumenta, grazie a una gestione pulita dello stato. LangChain, con una gestione più lineare, mantiene bassa latenza ma può aggiungere un passaggio di verifica extra in caso di errori. AutoGen, grazie al ciclo multi‑agente, registra un overhead costante ma contenuto. CrewAI, con il suo approccio di auto‑revisione e ruoli multipli, è più adatto a scenari dove la completezza e la tracciabilità sono prioritarie rispetto alla velocità.

Conclusioni

Il benchmark evidenzia che non esiste un “vincitore assoluto”: la scelta del framework dipende dalle esigenze specifiche del progetto. Per applicazioni che privilegiano velocità e parsimonia di token, LangGraph è la scelta consigliata. Quando la compattezza del consumo di token è fondamentale, LangChain offre il miglior equilibrio. AutoGen è indicato per scenari che richiedono precisione numerica e una leggera verifica aggiuntiva, mentre CrewAI è adatto a processi decisionali complessi, dove la trasparenza e la gestione di stati multipli superano i requisiti di efficienza.

Metodologia dettagliata del benchmark

Per approfondire la configurazione dei task, i criteri di valutazione e i parametri di esecuzione, è possibile consultare la pagina metodologica dedicata sul sito di Aimultiple, dove vengono descritti i dettagli dei prompt, le impostazioni dei modelli LLM e le metriche di raccolta dei dati.