Serie di interviste sull'IA #4: Transformers vs Mixture of Experts (MoE)

La continua evoluzione nel campo dell'intelligenza artificiale porta costantemente a nuove architetture e metodologie che promettono di superare i limiti attuali. Nella quarta puntata della sua serie di interviste sull'IA, MarkTechPost affronta una questione cruciale per gli sviluppatori e i ricercatori: il confronto tra i modelli Transformer e i modelli Mixture of Experts (MoE). L'interrogativo centrale è particolarmente intrigante: come è possibile che i modelli MoE, nonostante contengano un numero di parametri di gran lunga superiore rispetto ai Transformer, possano funzionare più velocemente in fase di inferenza?

Per comprendere appieno questa apparente contraddizione, è fondamentale analizzare le differenze architetturali e computazionali che distinguono queste due potenti classi di modelli. Sia i Transformer che i MoE condividono una struttura di base simile, fondata su strati di auto-attenzione seguiti da strati feed-forward. Tuttavia, le loro divergenze fondamentali risiedono nel modo in cui gestiscono e utilizzano i parametri e il calcolo.

Differenza tra Transformer e Mixture of Experts (MoE)

Il cuore della distinzione tra i due modelli risiede principalmente nella loro gestione delle reti feed-forward e nell'attivazione dei parametri durante l'elaborazione dei dati. Queste differenze influenzano direttamente il costo computazionale e la capacità di scalabilità di ciascuna architettura.

Rete Feed-Forward vs Esperti

• Transformer: In un Transformer tradizionale, ogni blocco dell'architettura contiene una singola e di solito molto grande rete feed-forward (FFN). Durante l'inferenza, ogni singolo token che attraversa il modello passa attraverso questa FFN, attivando di fatto tutti i suoi parametri. Questo comporta un carico computazionale denso, poiché ogni parte della rete contribuisce all'elaborazione di ogni singolo pezzo di informazione.
• MoE: I modelli MoE, invece, sostituiscono la singola FFN con una pluralità di reti feed-forward più piccole, ciascuna delle quali viene definita "esperto". La peculiarità risiede in una rete di routing (o router) che, per ogni token in ingresso, seleziona solo un piccolo sottoinsieme di questi esperti (tipicamente i "Top-K" esperti). Di conseguenza, solo una frazione minima dei parametri totali del modello è effettivamente attiva e coinvolta nel calcolo per un dato token. Questo meccanismo di selezione dinamica introduce una notevole efficienza computazionale.

Utilizzo dei Parametri

• Transformer: In un Transformer, tutti i parametri, distribuiti su tutti gli strati del modello, vengono utilizzati per elaborare ciascun token. Questo approccio si traduce in un calcolo "denso", dove l'intera capacità computazionale è mobilitata per ogni singola operazione. È un metodo robusto ma intensivo in termini di risorse.
• MoE: Contrariamente, i modelli MoE, sebbene possiedano un numero di parametri totali molto più elevato rispetto ai Transformer densi di dimensioni paragonabili, attivano solo una piccola porzione di essi per token. Questo è ciò che viene definito calcolo "sparso". Un esempio eclatante è Mixtral 8×7B, che vanta ben 46,7 miliardi di parametri totali, ma ne utilizza solamente circa 13 miliardi per ogni token elaborato. Questa sparsità è la chiave per la loro efficienza in inferenza.

Costo di Inferenza

• Transformer: Il costo di inferenza nei modelli Transformer è intrinsecamente elevato. Questa alta spesa è dovuta all'attivazione completa di tutti i parametri per ogni token. Scalare a modelli di grandi dimensioni come GPT-4 o Llama 2 70B richiede una potenza hardware considerevole e infrastrutture computazionali estremamente robuste, rendendoli costosi da eseguire su larga scala.
• MoE: Per i modelli MoE, il costo di inferenza è significativamente inferiore. Questo vantaggio deriva dal fatto che solo K esperti per strato sono attivi in qualsiasi momento. Di conseguenza, i modelli MoE sono più veloci e meno onerosi da eseguire, specialmente quando si tratta di impieghi su larga scala, dove l'efficienza computazionale per inferenza diventa un fattore critico.

Routing dei Token

• Transformer: Nei Transformer, non esiste un meccanismo di routing per i token. Ogni token segue esattamente lo stesso percorso attraverso tutti gli strati del modello. Non c'è differenziazione nel modo in cui le informazioni vengono elaborate a seconda delle loro caratteristiche specifiche, il che può limitare la capacità del modello di specializzarsi su compiti diversi o su diverse parti dell'input.
• MoE: I MoE implementano un meccanismo di routing "appreso". Un router impara ad assegnare i token agli esperti basandosi su punteggi di softmax. Questo significa che token diversi possono selezionare esperti diversi, e strati diversi all'interno del modello possono attivare insiemi di esperti differenti. Questo aumenta notevolmente la specializzazione e la capacità complessiva del modello, poiché ogni esperto può specializzarsi in un particolare tipo di input o compito, ottimizzando l'elaborazione.

Capacità del Modello

• Transformer: Per aumentare la capacità di un modello Transformer, le uniche opzioni disponibili sono l'aggiunta di più strati o l'ampliamento delle reti FFN. Entrambe queste strategie, tuttavia, aumentano considerevolmente il numero di operazioni in virgola mobile (FLOPs) richieste, rendendo il modello ancora più esigente in termini computazionali e di memoria.
• MoE: I MoE offrono una soluzione elegante per scalare massivamente il numero totale di parametri senza un corrispondente aumento del calcolo per token. Questa capacità permette di realizzare quelli che possono essere descritti come "cervelli più grandi a costi di runtime inferiori". La loro architettura sparsa consente di integrare una quantità impressionante di conoscenza e capacità senza sovraccaricare il processo di inferenza, rappresentando un progresso significativo per i modelli linguistici di grandi dimensioni e altre applicazioni di IA.

Mentre le architetture MoE offrono un'enorme capacità con costi di inferenza inferiori, esse introducono anche diverse sfide significative nella fase di addestramento. Il problema più comune è il "collasso degli esperti", una situazione in cui il router tende a selezionare ripetutamente gli stessi esperti per quasi tutti i token, lasciando gli altri esperti sostanzialmente sotto-addestrati e non utilizzati. Questo porta a una sottoutilizzazione delle risorse computazionali e a una riduzione della capacità effettiva del modello.

Un'altra sfida è lo squilibrio del carico, dove alcuni esperti possono ricevere un numero di token significativamente maggiore rispetto ad altri. Questo può portare a un apprendimento non uniforme, con alcuni esperti che diventano estremamente specializzati e altri che rimangono generici o inefficienti. Per affrontare questi problemi critici, i modelli MoE si affidano a una serie di tecniche avanzate. Queste includono l'iniezione di rumore nel routing, la mascheratura Top-K e l'implementazione di limiti di capacità per gli esperti. Questi meccanismi sono progettati per garantire che tutti gli esperti rimangano attivi e che il carico sia bilanciato, promuovendo un apprendimento più efficace e una migliore distribuzione della conoscenza.

Sebbene queste soluzioni siano efficaci, esse rendono i sistemi MoE considerevolmente più complessi da addestrare rispetto ai Transformer standard. L'ottimizzazione del router e la gestione dell'equilibrio degli esperti richiedono un'attenta calibrazione e una profonda comprensione delle dinamiche del modello. Nonostante queste complessità, i vantaggi in termini di scalabilità e costi di inferenza rendono i MoE una direzione di ricerca e sviluppo estremamente promettente nel campo dell'intelligenza artificiale, spingendo i confini di ciò che è possibile con i modelli di grandi dimensioni.

Questa analisi approfondita è stata curata da Arham Islam, un laureato in ingegneria civile (2022) presso la Jamia Millia Islamia, Nuova Delhi, con un forte interesse per la Data Science, in particolare per le reti neurali e le loro applicazioni in diversi settori. Le sue competenze si estendono all'esplorazione di argomenti complessi nel machine learning, come dimostrato in articoli precedenti quali "Paged Attention in Large Language Models LLMs" e "How BM25 and RAG Retrieve Information Differently?". La sua passione per l'innovazione e la chiarezza nell'esposizione di concetti tecnici rende le sue analisi preziose per la comunità dell'IA.