Agenti privati veloci su dispositivo con LFM2.5‑24B‑A2B

LFM2.5‑24B‑A2B è un modello di ragionamento da 24 biliardi di parametri, ma con appena 2 biliardi di parametri attivi per token, pensato per agenti veloci e privati da eseguire direttamente sul dispositivo dell’utente. Questo approccio riduce drasticamente il costo computazionale di ogni token di ragionamento, permettendo di far girare agenti in modo continuo su hardware personale senza sacrificare la qualità delle risposte.

Architettura e miglioramenti rispetto a LFM2‑24B‑A2B

Il nuovo modello mantiene l’architettura di base del suo predecessore: 40 strati, 64 esperti per blocco MoE con routing top‑4 e una combinazione ibrida di convoluzioni brevi con gate e GQA (Grouped Query Attention). Le novità più rilevanti includono:

• Espansione della finestra di contesto da 32 k a 131 k token, ideale per compiti a lungo termine.
• Raddoppio del vocabolario da 65 k a 128 k token, grazie a un tokenizzatore in‑place che migliora la tokenizzazione di lingue non latine.
• Passaggio da un modello a uso generale a un modello di sola ragionamento, capace di generare una catena di pensiero esplicita prima della risposta finale.

Processo di addestramento

Il pre‑training è stato ampliato da circa 17 triiliardi a 33 triiliardi di token. Successivamente, una fase di addestramento intermedio ha introdotto 2 triiliardi di token a contesto 32 k, focalizzati su ragionamento, matematica, codice, istruzioni e testi multilingue, oltre a 300 miliardi di token a contesto 131 k, orientati verso dati a lungo contesto. Durante entrambe le fasi, il modello è stato esposto a chiamate di strumenti e traiettorie multi‑turn, preparando il terreno per il ruolo di agente.

Conversione in agente: cinque fasi post‑training

Dopo il training di base, il modello è stato trasformato in agente attraverso cinque fasi:

• Integrazione di un modulo di gestione delle catene di pensiero.
• Configurazione di un'interfaccia per le chiamate a strumenti esterni.
• Ottimizzazione per l’esecuzione su hardware edge.
• Validazione su benchmark di agenti e multi‑turn.
• Rilascio con supporto per ecosistemi di inferenza (llama.cpp, MLX, vLLM, SGLang, ONNX).

Valutazione comparativa

LFM2.5‑24B‑A2B è stato confrontato con Qwen3.6‑35B‑A3B, Gemma‑4‑26B‑A4B‑it e Nemotron‑3.5‑Lightning su 16 benchmark che coprono utilizzo di strumenti, flussi di lavoro agentici, conoscenza, istruzioni, matematica e programmazione. Nonostante sia il modello più piccolo del gruppo, mostra una competitività paragonabile a MoE con circa il 50 % di parametri totali e attivi in più.

Tutti i test sono stati eseguiti con vLLM, utilizzando i parametri di generazione consigliati per ciascun benchmark.

Punti di forza per le applicazioni

Le principali forze di LFM2.5‑24B‑A2B risiedono nell’uso di strumenti e nel follow‑up delle istruzioni. Il modello è leader o pari al top in cinque dei otto benchmark specifici per tool‑use e agenti (AutomationBench, BFCLv4, ToolSandbox, LiveClaw e τ³‑Bench Banking). Su AutomationBench, ad esempio, ottiene un punteggio più di tre volte superiore al modello più vicino.

In tutti e tre i benchmark di istruzioni, LFM2.5‑24B‑A2B si posiziona al primo posto. I modelli più grandi mantengono un vantaggio su benchmark basati su conoscenza estesa (GPQA Diamond, HLE, AA‑Omniscience) e su quelli di programmazione (SWE‑Bench Verified, SciCode). Per questi carichi di lavoro è consigliabile combinare LFM2.5‑24B‑A2B con sistemi di recupero o ricerca web.

Prestazioni di inferenza

• Edge inference: decode a 184 token/s su un Apple M5 Max e 114 token/s su un Ryzen AI Max+ 395, risultando fino al 1,7× più veloce del modello concorrente più vicino, con il consumo di memoria più basso.
• GPU inference: è il modello più veloce nella sua classe di dimensioni, superando i 21 k token di output al secondo con alta concorrenza su una singola GPU B300.

Queste caratteristiche lo rendono ideale per agenti che richiedono ragionamento, chiamate a strumenti e affidabilità su dispositivi limitati.

Distribuzione e integrazione

LFM2.5‑24B‑A2B è disponibile con supporto “day‑one” per l’intero ecosistema di inferenza, inclusi llama.cpp, MLX, vLLM, SGLang e ONNX. L’installazione più recente di transformers (≥ 5.0.0) è necessaria per servire il modello localmente dietro un backend compatibile con OpenAI, quindi puntare il proprio harness di agenti al servizio.

Esempio con Hermes Agent: il porto varia a seconda del backend (llama.cpp e MLX usano 8080, vLLM 8000, SGLang 30000, LM Studio 1234). Per configurazioni OpenClaw, Pi e guide complete, fare riferimento alla model card e alla documentazione ufficiale.

Disponibilità e licenza

Entrambe le versioni, LFM2.5‑24B‑A2B e LFM2.5‑24B‑A2B‑Base, sono open‑weight e già presenti su Hugging Face. Chi utilizza il modello è invitato a citare il blog di rilascio nella propria ricerca o nei prodotti.