Qwen‑Image‑2.1 GGUF: cosa costa davvero una compilazione quantizzata

Qwen‑Image‑2.1 è stato rilasciato il 20 settembre 2026 su Hugging Face e ModelScope. Subito la comunità ha prodotto una serie di versioni quantizzate in formato GGUF, ovvero checkpoint a file unico a precisione ridotta, pensati per l’inferenza locale. Tuttavia, il nome GGUF è spesso frainteso: nel caso di Qwen‑Image‑2.1 il file GGUF contiene esclusivamente il denoiser (il transformer di diffusione), mentre il codificatore di testo e il VAE rimangono nei loro formati originari o vengono quantizzati separatamente.

Struttura del modello e cosa contiene un GGUF

Qwen‑Image‑2.1 è composto da tre componenti principali:

• Un transformer di diffusione a 32 layer, con circa 7 miliardi di parametri dedicati alla generazione visiva.
• Un codificatore di testo vision‑language (text encoder) chiamato Qwen3‑VL.
• Un auto‑encoder variazionale (VAE) che converte i latent in pixel.

Le versioni GGUF distribuite dalla community includono solo il primo di questi componenti. Come riporta la descrizione di Unsloth: «Un GGUF è solo il denoiser, così che serve il VAE e il codificatore di testo Qwen3‑VL accanto a esso». Pertanto, scaricare un file .gguf equivale a ottenere un terzo del pipeline completo.

Origine e licenza dei file GGUF

Il repository ufficiale Qwen/Qwen-Image-2.1 su Hugging Face mostra una struttura Diffusers tipica, con cartelle modelindex.json, transformer/, textencoder/, vae/, scheduler/ e processor/. Nessun file .gguf è presente nella pubblicazione originale (controllo effettuato il 13 ottobre 2026). Le versioni GGUF sono quindi “artefatti della community”, pubblicate sotto i nomi dei loro autori (leejet, Abiray, RealRebelAI, Unsloth) e soggette alla stessa licenza del modello di base, ma non sono fornite o supportate dal provider originale.

Perché le regole di quantizzazione dei modelli di testo non valgono

Nel mondo dei LLM (large language model) la quantizzazione è ben studiata: Q80 è quasi senza perdita, Q4K_M è considerato il compromesso ottimale, e le metriche di valutazione (perplessità, KL‑divergence) sono standardizzate. Per i modelli di immagine, la situazione è diversa per tre motivi fondamentali.

Assenza di perplessità

Un transformer di diffusione non genera una distribuzione di token; produce un latent che il VAE decodifica in pixel. Le metriche tipiche sono LPIPS, SSIM o PSNR, tutte basate su confronti pixel‑wise e richiedono identici seed, prompt e configurazione del sampler. Non esiste un valore unico “costo Q4KM” come nei modelli di testo; ogni misurazione dipende da una singola esecuzione.

Importanza dei tensori critici

In un modello visivo il valore medio del numero di bit per parametro è meno rilevante rispetto a quali tensori perdono precisione. Proiezioni di attenzione e strati MLP, che gestiscono la struttura dell’immagine, sono molto sensibili al round‑off, mentre tensori di normalizzazione o modulazione tollerano riduzioni più estreme. Di conseguenza, una quantizzazione uniforme (ad esempio Q4KM su tutti i tensori) può produrre degradazioni più evidenti rispetto a una strategia ibrida che mantiene Q8_0 su le parti sensibili e riduce gli altri.

Modalità di fallimento diversa

La degradazione dei modelli di testo influisce principalmente sulla fluidità della lingua, ma il contenuto resta comprensibile. Nei modelli di immagine i difetti sono più evidenti: perdita di anatomia, texture fine, tipografia piccola o, soprattutto, mancata aderenza al prompt. Un modello che ignora metà delle istruzioni non è valutabile mediante una semplice comparazione di immagini “buone”.

Strategie di quantizzazione evidenziate dalla community

RealRebelAI, nella sua nota di quantizzazione più dettagliata, sottolinea che una conversione standard Q4KM porta a perdita evidente di struttura fine rispetto al modello di riferimento INT8. Per mitigare questo effetto, la loro build mantiene le matrici Q/K/V/Out della fase di attenzione a Q80 all’interno di un file Q4K_M, ottenendo così una qualità quasi pari all’INT8.

In sintesi, la “etichetta” di quantizzazione (Q4KM, Q5KS, ecc.) indica il livello di precisione medio, ma la reale politica di quantizzazione può variare notevolmente da un repository all’altro.

Dimensioni dei file GGUF più popolari

Le dimensioni dei file sono l’unico dato oggettivo e comparabile. Al 13 ottobre 2026, le due compilazioni più scaricate mostrano le seguenti specifiche:

• Unsloth Dynamic 2.0 (12 file):
  • F16 — 14.23 GB
  • Q8_0 — 7.64 GB
  • Q6KXL — 6.72 GB
  • Q6_K — 6.27 GB
  • Q5KM — 5.39 GB
  • Q5KS — 4.50 GB
  • Q4KM — 4.20 GB
  • Q4KS — 3.91 GB
  • Q3KXL — 3.61 GB
  • Q3KM — 3.17 GB
  • Q3KS — 2.72 GB
  • Q2_K — 2.47 GB
• leejet / stable‑diffusion.cpp (7 file):
  • Q8_0 — 7.69 GB

Le differenze di peso tra le versioni dimostrano l’impatto della scelta di precisione su spazio di archiviazione e, indirettamente, su velocità di caricamento e inferenza.

Costi reali della quantizzazione: velocità e risorse

Oltre alle dimensioni, è fondamentale valutare il throughput in token/s (o in pixel/s per i modelli di immagine). Alcuni provider indicano velocità come 56 tok/s per modelli di linguaggio; per Qwen‑Image‑2.1, le metriche dipendono dal tipo di hardware (GPU, CPU, acceleratori) e dalla precisione scelta. In generale, quantizzazioni più aggressive (Q4, Q3, Q2) riducono il consumo di memoria e aumentano la velocità, ma possono introdurre artefatti visivi gravi.

Come utilizzare correttamente un GGUF di Qwen‑Image‑2.1

• Scaricare il file .gguf corrispondente al livello di precisione desiderato.
• Scaricare separatamente il VAE e il text encoder dal repository ufficiale (o versioni quantizzate se disponibili).
• Integrare il denoiser GGUF, il VAE e il text encoder in un pipeline compatibile (ad esempio con diffusers o stable‑diffusion.cpp).
• Verificare la corrispondenza di seed, prompt e parametri del sampler per garantire confronti riproducibili.
• Eseguire dei test qualitativi (LPIPS, SSIM) su un set di prompt di riferimento per valutare la perdita percepita.

Conclusioni

Qwen‑Image‑2.1 GGUF rappresenta una risorsa preziosa per chi vuole eseguire modelli di diffusione di grandi dimensioni in ambienti locali a basso consumo di memoria. Tuttavia, è essenziale comprendere che il file .gguf non è l’intero modello, ma solo il denoiser. La qualità dipende più dalla strategia di quantizzazione (quali tensori sono ridotti) che dalla semplice etichetta di precisione. Gli utenti devono quindi combinare il GGUF con i componenti originali, testare le impostazioni su casi d’uso specifici e accettare che la valutazione della “costo” di una quantizzazione in ambito immagine sia molto più complessa rispetto ai modelli di testo.