NVIDIA Pubblica Audex (Nemotron-Labs-Audex-30B-A3B), Un Modello LLM Testo-Audio Unificato

NVIDIA ha recentemente rilasciato Audex (Nemotron-Labs-Audex-30B-A3B), un modello linguistico di grandi dimensioni (LLM) progettato per comprendere e generare testo e audio. Il modello mantiene l’intelligenza testuale del suo modello base e, insieme alla versione più piccola di 2B parametri, è messo a disposizione su licenza non commerciale.

Che cos’è Audex?

Audex è un unico modello di tipo Mixture-of-Experts (MoE) costituito da 30B parametri in totale, con 3B parametri attivati per token. Il modello base da cui si ispira è Nemotron-Cascade-2-30B-A3B, un modello LLM di tipo MoE che utilizza l’architettura ibrida Mamba-Transformer con 52 strati, e include 128 esperti e 6 esperti attivati.

Oltre a una struttura semplice, il modello utilizza un encoder audio AF-Whisper (che condivide l’architettura con Whisper Large-v3 e accetta segnali audio a 16 kHz) e due strati MLP per mappare le funzionalità audio. Inoltre, utilizza una versione estesa di vocabolario che contiene 205.312 token (rispetto a 131.072 originari).

Funzionalità e Struttura Interna

Audex presenta una struttura unificata che include:

• Un encoder audio per la lettura dei suoni.
• Due strati di MLP per la mappatura del modello dimensionale.
• Una versione estesa del vocabolario con token audio discreti.

Il modello utilizza due codec differenti per la gestione dell’output audio:

• Per la voce, impiega X-Codec2 con un tasso di 50 token al secondo.
• Per i suoni non vocali, utilizza X-Codec con 200 token al secondo.

Queste differenze consentono una distinzione tra suoni vocativi e sonori complessi.

Training

Audex non richiede pre-addestramento audio: parte da checkpoint di addestramento testuale e sviluppa nuove capacità passo dopo passo.

Il training avviene in quattro fasi principali:

• Text SFT: fase iniziale dedicata al testo.
• Audio warmup: introduzione alla gestione dell’audio.
• Audio Generation e Understanding: fasi avanzate.

Per evitare degradazione di qualità nel testo, le fasi successive mantengono gli embeddings congelati.

Le ricerche di NVIDIA hanno provato diverse configurazioni di training. Una ricetta a una sola fase, mescolando dati audio e testo, ha prodotto problemi nella memorizzazione del contesto. L’approccio a fasi multiple è stato scelto come standard.

Dopo il fine-tuning, gli esperti hanno applicato l’apprendimento di rinforzo su testo (text-only Cascade RL) e distillazione su molteplici domain-policy (MOPD). Questo ha portato ad una crescita delle performance testuali senza perdita significativa in quelle audio.

Benchmark e Prestazioni

Audex ottiene risultati paragonabili al modello base e supera i competitor per diversi benchmark.

I benchmark dimostrano che su test come MMLU-Redux e IMO Answer Bench, Audex supera ampiamente modelli con numero simile di parametri:

• Nel MMLU-Redux, Audex si colloca a 86.4, rispetto al base score di 86.3.
• Nel IMO Answer Bench, Audex raggiunge un punteggio di 81.1 (rispetto a 79.3 del backbone).

Per alcuni benchmark specifici, Audex supera modelli come Qwen3.5-35B-A3B e Qwen3-Omni-30B-A3B-Thinking:

• HMMT Feb25: 92.2 (rispetto a 89.0 e 60.4).
• LiveCodeBench v6: 85.3 (rispetto a 74.6 e 59.2).
• ArenaHard v2: 81.6 (rispetto a 65.4 e 55.1).

Nel settore dell’audio, il modello si è distinto per la riconoscimento vocale con una parola di errore media di 6.82 contro competitor come Step-Audio-R1.1-33B (7.91) e Qwen-30B-Thinking (8.00).

Per quanto riguarda la comprensione audio:

• MMAU: 75.6 (superiore a 73.6 e 75.4).
• Audio Entailment: 95.0 (superiore a 61.6 e 61.6).

Tuttavia, mostra limiti in alcuni settori specifici:

• MMAR: 63.2 (rispetto a 69.8 e 66.4).
• MMSU: 63.4 (rispetto a 74.1 e 70.2).
• BigBenchAudio: 90.0 (dietro rispetto a 97.6 e non segnalato).

Case d'Uso

Audex si presta a vari utilizzi pratici, ad esempio:

• Traduzione vocale su chiamate internazionali in tempo reale.
• Tool per lettura ad alta voce integrati in app di accessibilità.
• Generazione di suoni generici per prototipazione sonora.
• Gestione di assistenti vocali con conversione voce-vocale end-to-end.

Esempio di Utilizzo

Il modello utilizza il formato ChatML, ed è disponibile in un contenitore di riferimento con vLLM 0.20.0. Per l’elaborazione audio, richiede funzioni aggiuntive.

Per l’interpretazione, traduzione e riconoscimento vocale, lo script audio-QA con l'identificativo del modello è incluso per questa forma di input:

• Utilizzare top_p=0.9 e temperature=0.7 per la comprensione audio.
• Utilizzare campionamento greedy per riconoscimento e traduzione.
• Utilizzare “classifier-free guidance” per la generazione, come illustrato in una ricetta esemplare.

Punti di Forza e Limiti

Punti di Forza

• Mantiene l’intelligenza testuale del modello base.
• E’ compatibile con stack esistenti come Megatron-LM e vLLM.
• Uno dei modelli aperti più performanti per generazione audio generale.
• Sale in cima a benchmark di logica, allineamento e comprensione.

Limiti

• Licenza di NVIDIA (OneWay) non permette l’uso commerc