Cloudflare lancia Clef e Clef‑flash: modelli decisionali open‑weight con probabilità tipizzate

Introduzione

Cloudflare ha annunciato il rilascio di Clef e Clef‑flash, i primi modelli decisionali addestrati dal team Workers AI. A differenza dei tradizionali large language model (LLM) che generano token di testo, questi modelli leggono uno stato di ingresso e uno schema di domande tipizzate, restituendo una probabilità per ogni risposta consentita. Entrambi i modelli sono open‑weight, rilasciati sotto licenza Apache 2.0 e compatibili con l’API “System One” di TypeSafe AI, denominata Jev.

Deployabilità

Sì, entrambi i modelli sono già eseguibili su Workers AI e i pesi sono disponibili su Hugging Face per chi desidera l’auto‑hosting. L’integrazione avviene tramite il binding env.AI.run(), l’API REST o AI Gateway. Per l’auto‑hosting, le schede tecniche indicano test su una singola GPU H200 con pesi in formato BF16.

Cosa fa un modello decisionale

Un LLM genera token uno alla volta, richiedendo spesso parsing per estrarre informazioni strutturate. Un modello decisionale risponde direttamente a un set fissato di domande, restituendo probabilità senza alcun testo libero.

Tipi di domande supportate da Clef

Clef gestisce tre tipologie di domande:

• noul: domanda sì/no, restituisce la probabilità del “sì”.
• choice: sceglie una delle opzioni nominate, fornendo probabilità per ciascuna opzione e un valore di confidenza.
• score: valuta secondo una rubrica ordinata, restituendo un punteggio ponderato probabilistico.

Su Workers AI, una singola richiesta può contenere fino a 64 domande e fino a 4 immagini.

Architettura e addestramento

Clef è post‑addestrato su Qwen3.8‑27B, mentre Clef‑flash si basa su Qwen3.5‑9B. Entrambi conservano l’encoder visivo del backbone. L’inferenza avviene in due fasi: il backbone esegue un unico pass “prefill‑only” sullo stato e sulle domande; successivamente, una piccola rete transformer, la joint schema head, legge gli hidden state finali, instrada le evidenze a ciascuna domanda, consente il cross‑attention tra campi e calcola le probabilità tramite softmax per domanda.

Durante il training, i backbone sono congelati e la testa di routing è ottimizzata con adattatori low‑rank di rango 256. La loss combina cross‑entropy smoothed con una Brier loss per migliorare la calibrazione. Un obiettivo secondario, Reinforcement Learning for Calibrated Decisions (RLCD), assegna credito parziale a scelte ordinali adiacenti.

Benchmark: dove Clef eccelle e dove resta indietro

Nel “Decision Index 0.2.1” di Cloudflare, Clef ha ottenuto il punteggio più alto in 7 dei 10 benchmark testati. Alcuni risultati chiave:

• BANKING77 (macro‑F1): Clef 94.20 vs Jev 79.74.
• CLINC150+OOS (macro‑F1): Clef 97.43 vs Jev 89.27.
• Home appliances (case exact): Clef‑flash 97.73 vs Jev 52.27.

Jev mantiene la leadership in test basati sulla conoscenza, come GPQA Diamond (78.3 vs 48.0), MMLU‑Pro (82.7 vs 65.9) e BBH (92.9 vs 73.7). Nei “workflow evals” di TypeSafe, Clef ha superato Jev in tre delle quattro aree testate, sebbene con margini ridotti: fatturazione 64.7 vs 61.8, servizio clienti 76.3 vs 76.0, incidenti di sicurezza 62.9 vs 61.7. Jev è ancora più forte nella “agent trace observability” (71.6 vs 68.5).

Nel workflow di threat intelligence di Cloudflare, Clef ha classificato un dominio in 2.2 s, contro i 4.7 s di gpt‑oss‑120b. Tutti i numeri provengono dai fornitori, senza replica indipendente al momento.

Confronto delle caratteristiche