Windows annuncia DeepSeek V4 Flash, Nemotron locale e llama.cpp su Windows ML

Durante il keynote di Windows tenutosi il 7 ottobre a San Francisco (ore 10:00 locale, 19:00 in Italia), Microsoft ha annunciato quattro importanti novità legate all’intelligenza artificiale eseguita localmente su PC: DeepSeek V4 Flash, un nuovo modello Nemotron di NVIDIA, l’integrazione di llama.cpp in Windows ML e il sistema HydraFusion di GitHub. Tutti gli annunci sono stati mostrati tramite slide sul palco; i post ufficiali di Windows Blog e NVIDIA non sono ancora disponibili.

DeepSeek V4 Flash: un modello da 284 miliardi di parametri in 60 GB

La prima notizia riguarda DeepSeek V4 Flash. La slide presentata lo descrive come “near‑frontier intelligence in 60 GB of memory”, con 284 miliardi di parametri quantizzati a 1,6 bit. In pratica, la compressione riduce il peso dei pesi a circa 57 GB, rendendo possibile l’esecuzione su un PC con 60 GB di RAM. Il modello è di tipo MoE (Mixture of Experts), con 284 miliardi di parametri totali ma solo 13 miliardi attivi per token, e inizialmente gira su un cluster di due DGX Spark prima della compressione.

Nemotron di NVIDIA: oltre 70 milliardi di parametri in arrivo

Il secondo annuncio è legato a Nemotron, la famiglia di modelli linguistici open‑source di NVIDIA. La slide indica un nuovo modello locale da più di 70 miliardi di parametri, previsto per il 15 ottobre. Non viene fornito il nome esatto della versione, ma si fa riferimento a “powerful agentic capabilities” pensate per la piattaforma RTX Spark. Per contestualizzare, NVIDIA ha già presentato Nemotron 3.5 Lightning (30 miliardi) e Nemotron 3 Ultra come top‑of‑the‑line.

llama.cpp entra in Windows ML

Il terzo punto è l’integrazione di llama.cpp all’interno di Windows ML. llama.cpp è un programma open‑source che permette di eseguire modelli linguistici sul proprio computer, anche senza una GPU di alto livello, grazie al supporto del formato GGUF. Windows ML, il livello di sistema che consente alle app di eseguire inferenze AI, tradizionalmente utilizza ONNX Runtime. L’inclusione di llama.cpp suggerisce la possibilità di caricare modelli GGUF direttamente, evitando la conversione in ONNX e semplificando lo sviluppo.

Le slide mostrano API di alto livello per l’AI generativa, ma Microsoft non ha ancora annunciato date precise né dettagli tecnici di integrazione.

HydraFusion: il nuovo sistema di selezione modello di GitHub

L’ultimo annuncio riguarda HydraFusion, un sistema di GitHub progettato per scegliere automaticamente il modello più adatto a ciascun compito. Originariamente lanciato come anteprima di ricerca all’interno di Copilot CLI a partire da settembre, HydraFusion supporterà i modelli locali su Windows a partire dal 15 ottobre.

Dettagli tecnici e confronti dei modelli

• DeepSeek V4 Flash: 284 miliardi di parametri, quantizzati a 1,6 bit, richiede 60 GB di RAM; modello MoE con 13 miliardi di esperti attivi per token.
• Nemotron (NVIDIA): più di 70 miliardi di parametri, disponibile dal 15 ottobre, ottimizzato per RTX Spark.
• llama.cpp: supporto GGUF, integrato in Windows ML, fornendo API per sviluppatori.
• HydraFusion: supporto ai modelli locali su Windows dal 15 ottobre, selezione automatica del modello più adeguato.

Windows ML: come funziona e cosa cambia per gli sviluppatori

Windows ML si basa su ONNX Runtime, il motore open‑source per l’inferenza dei modelli, e può sfruttare NPU, GPU o CPU tramite “execution provider” aggiornati automaticamente con Windows Update. Le ottimizzazioni per NPU e GPU richiedono Windows 11 24H2 o versioni successive. L’integrazione di llama.cpp potrebbe consentire di caricare direttamente modelli GGUF, bypassando la conversione in ONNX e accelerando il ciclo di sviluppo.

Secondo Engadget, ciò “gives devs the ability to experiment with emerging models”, ovvero fornisce agli sviluppatori una via più veloce per provare i nuovi modelli appena rilasciati.

Il contesto hardware: RTX Spark e le nuove macchine

Il superchip RTX Spark di NVIDIA, progettato per PC Windows, è il riferimento hardware citato. Le sue specifiche includono 1 petaflop di calcolo AI, 6.144 core grafici Blackwell, 20 core Arm e fino a 128 GB di memoria unificata (CPU + GPU). Microsoft e NVIDIA indicano che questa architettura può gestire modelli fino a circa 120 miliardi di parametri, ma le slide mostrano modelli più grandi (284 miliardi) grazie alla compressione a 1,6 bit.

Altre notizie legate al keynote

L’evento ha presentato anche il Surface Laptop Ultra, i nuovi PC di diversi OEM (ASUS, Dell, HP, Lenovo, MSI) e altri hardware. Il Surface Laptop Ultra costerà 2.599 USD, con pre‑ordine aperto e data di uscita prevista per il 16 ottobre. Il prezzo in euro non è ancora stato comunicato.

Leaker e voci sul futuro della GPU

Il 10 ottobre due leaker hanno sostenuto che NVIDIA sospenderà la produzione della RTX 5090 e riserverà i chip «GB202» alle linee RTX PRO, ma non ci sono conferme ufficiali. Inoltre, Qualcomm ha dichiarato che le aziende AI mirano a modelli da 100 milliardi di parametri entro il 2028, quindi molto più grandi rispetto a quelli attualmente eseguibili in locale.

Ottimizzazioni di Windows 11 per l’AI

Microsoft ha presentato il piano Windows K2 e i primi test di 26H2, mirati a ridurre il consumo di RAM e velocizzare il sistema, particolarmente rilevanti per chi intende eseguire modelli AI locali.

Riepilogo delle informazioni mancanti

Considerazioni finali

Il messaggio chiave del keynote è la spinta verso un’intelligenza ibrida, dove parte del carico computazionale resta sul dispositivo e parte migra al cloud, riducendo i costi delle API. Con DeepSeek V4 Flash e Nemotron, il confine tra modelli “di frontiera” e capacità locali si sta sfumando, mentre l’integrazione di llama.cpp e HydraFusion fornisce agli sviluppatori gli strumenti per sperimentare rapidamente nuove architetture. Resta da vedere come le ottimizzazioni di Windows K2 e i futuri aggiornamenti di Windows 11 influenzeranno le prestazioni reali dei modelli più complessi.