Serie di Interviste sull'IA #4: Transformers vs Mixture of Experts (MoE)

Nel panorama in rapida evoluzione dell'intelligenza artificiale, comprendere le architetture dei modelli sottostanti è fondamentale per chiunque operi nel campo. La "Serie di Interviste sull'IA" di MarkTechPost, giunta al suo quarto appuntamento, affronta una questione cruciale che distingue due delle architetture più influenti nel deep learning: i Transformer e i Mixture of Experts (MoE).

L'intervista solleva un quesito stimolante: "I modelli MoE contengono molti più parametri rispetto ai Transformer, eppure possono essere eseguiti più velocemente durante l'inferenza. Come è possibile?" Questa domanda va al cuore delle innovazioni che stanno plasmando la prossima generazione di modelli di intelligenza artificiale, in particolare nel campo dei modelli linguistici di grandi dimensioni (LLM).

Differenze chiave tra Transformers e Mixture of Experts (MoE)

Sia i modelli Transformer che i modelli Mixture of Experts (MoE) condividono una struttura architettonica di base simile, caratterizzata da strati di auto-attenzione seguiti da strati di feed-forward. Tuttavia, la loro differenza fondamentale risiede nel modo in cui utilizzano i parametri e gestiscono il calcolo. Questa distinzione è la chiave per comprendere le loro prestazioni divergenti in termini di velocità di inferenza.

Rete Feed-Forward vs Esperti

• Transformer: Ogni blocco di un Transformer contiene una singola e ampia rete feed-forward (FFN). Durante l'inferenza, ogni singolo token attraversa questa FFN, attivando di fatto tutti i parametri presenti nello strato. Questo porta a un calcolo "denso", in cui una grande quantità di risorse computazionali viene impiegata per ogni elaborazione.
• MoE: I modelli MoE sostituiscono la singola FFN con una pluralità di reti feed-forward più piccole, ciascuna delle quali viene definita "esperto". Un'innovativa rete di routing è incaricata di selezionare solo pochi esperti (tipicamente Top-K, dove K è un numero piccolo) per ciascun token. Questo significa che, per ogni token elaborato, solo una piccola frazione del totale dei parametri del modello MoE viene attivata. Questo approccio è noto come calcolo "sparso".

Utilizzo dei Parametri

• Transformer: Tutti i parametri, attraverso tutti gli strati, vengono utilizzati per ogni token elaborato. Ciò si traduce in un calcolo denso e un elevato fabbisogno di risorse computazionali per ogni passo dell'inferenza. La densità dell'attivazione dei parametri è una caratteristica intrinseca del design del Transformer.
• MoE: Pur avendo un numero significativamente maggiore di parametri totali rispetto a un Transformer di dimensioni paragonabili, un modello MoE attiva solo una piccola porzione di questi per ciascun token. Questo è il concetto di calcolo sparso. Un esempio notevole è Mixtral 8×7B, che vanta 46,7 miliardi di parametri totali, ma ne utilizza solo circa 13 miliardi per token durante l'inferenza. Questa capacità di scalare il numero totale di parametri senza aumentare proporzionalmente il costo computazionale per token è un vantaggio distintivo dei MoE.

Costo di Inferenza

• Transformer: Il costo di inferenza dei Transformer è intrinsecamente elevato a causa dell'attivazione completa di tutti i parametri per ogni token. Per scalare a modelli di grandi dimensioni come GPT-4 o Llama 2 70B, è necessario hardware estremamente potente e costoso, con un consumo energetico considerevole. Questo rappresenta un ostacolo significativo per l'adozione su larga scala in alcuni contesti.
• MoE: Il costo di inferenza dei modelli MoE è notevolmente inferiore. Questo perché, come accennato, solo K esperti per strato sono attivi per ciascun token. Questa caratteristica rende i modelli MoE più veloci e meno costosi da eseguire, soprattutto quando si tratta di modelli su larga scala. La capacità di ottenere "cervelli più grandi a costi di runtime inferiori" è un fattore che ne alimenta l'adozione.

Routing dei Token

• Transformer: Nei modelli Transformer standard, non esiste un meccanismo di routing dinamico. Ogni token segue esattamente lo stesso percorso attraverso tutti gli strati del modello. Questo approccio è deterministico e uniforme per tutti gli input.
• MoE: Una delle componenti più innovative dei modelli MoE è il router appreso. Questo router assegna dinamicamente i token agli esperti in base a punteggi softmax calcolati. Ciò significa che token diversi possono selezionare esperti diversi all'interno dello stesso strato. Inoltre, strati diversi del modello possono attivare esperti diversi, il che aumenta la specializzazione e la capacità complessiva del modello. Questa flessibilità nel routing permette al modello di adattarsi meglio a diverse tipologie di input e di apprendere rappresentazioni più ricche e specifiche.

Capacità del Modello

• Transformer: Per aumentare la capacità di un modello Transformer, l'unica opzione tradizionale è aggiungere più strati o ampliare la FFN. Entrambe queste strategie, tuttavia, aumentano in modo significativo il numero di operazioni in virgola mobile (FLOPs) richieste, incrementando di conseguenza i costi computazionali e i tempi di inferenza. Questo pone un limite pratico alla scalabilità dei Transformer densi.
• MoE: I modelli MoE offrono un vantaggio distintivo in termini di scalabilità della capacità. Possono scalare massicciamente il numero totale di parametri senza aumentare il calcolo per token. Questo permette la creazione di modelli con una "massa cerebrale" molto più grande a un costo di runtime inferiore per token, aprendo nuove possibilità per modelli più complessi e performanti senza gli oneri computazionali dei Transformer densi equivalenti.

Sfide di Addestramento dei MoE

Sebbene le architetture MoE offrano una capacità massiccia con costi di inferenza inferiori, introducono anche diverse sfide significative nella fase di addestramento. Queste complessità sono spesso il motivo per cui la loro adozione è stata più lenta rispetto ai Transformer densi.

Il problema più comune è il fenomeno del collasso degli esperti. Si verifica quando il router, durante l'addestramento, seleziona ripetutamente gli stessi esperti per quasi tutti i token, lasciando gli altri esperti sotto-addestrati o del tutto inutilizzati. Questo riduce l'efficacia del modello, poiché non sfrutta appieno la sua capacità potenziale.

Un'altra sfida è lo squilibrio del carico. Alcuni esperti possono ricevere un numero di token significativamente maggiore rispetto ad altri, portando a un apprendimento non uniforme. Gli esperti sovraccarichi possono diventare colli di bottiglia, mentre quelli sottoutilizzati non contribuiscono efficacemente alla performance complessiva del modello. Questo può rallentare l'addestramento e portare a una qualità del modello inferiore.

Per affrontare queste problematiche, i modelli MoE si affidano a una serie di tecniche avanzate. Tra queste troviamo:

• Iniezione di rumore nel routing: L'introduzione di un piccolo elemento di casualità nel processo di routing aiuta a distribuire i token in modo più uniforme tra gli esperti, riducendo la probabilità di collasso.
• Mascheramento Top-K: Questa tecnica garantisce che solo un numero fisso di esperti (K) venga selezionato, evitando che un singolo esperto assorba troppi token e incoraggiando una distribuzione più equilibrata.
• Limiti di capacità degli esperti: Impostando un limite massimo al numero di token che ciascun esperto può elaborare in un dato momento, si forza il router a distribuire i token ad altri esperti, prevenendo il sovraccarico e garantendo che tutti gli esperti rimangano attivi e contribuiscano all'apprendimento.

Questi meccanismi, sebbene essenziali per il successo dell'addestramento dei MoE, rendono i sistemi MoE più complessi da configurare e addestrare rispetto ai Transformer standard. La calibrazione di questi iperparametri e la gestione della dinamica del routing richiedono una profonda comprensione e un'attenta sperimentazione.

Conclusione

In sintesi, la "Serie di Interviste sull'IA #4" illustra chiaramente il trade-off e i vantaggi intrinseci dell'architettura Mixture of Experts rispetto ai Transformer densi. La capacità dei MoE di eseguire l'inferenza più velocemente, nonostante un numero maggiore di parametri totali, deriva dal loro approccio al calcolo sparso, dove solo una frazione degli esperti è attiva per ogni token. Questo permette una scalabilità della capacità del modello a un costo computazionale per token inferiore, rendendoli attraenti per la costruzione di modelli di intelligenza artificiale sempre più potenti.

Tuttavia, è fondamentale riconoscere che questa efficienza in inferenza viene bilanciata da sfide maggiori durante la fase di addestramento. Problemi come il collasso degli esperti e lo squilibrio del carico richiedono tecniche sofisticate per garantire che tutti gli esperti siano attivi e bilanciati. Comprendere queste differenze e le tecniche per gestirle è cruciale per chiunque lavori o sia interessato allo sviluppo di modelli di intelligenza artificiale all'avanguardia.

Questo approfondimento è stato curato da Arham Islam, un laureato in Ingegneria Civile (2022) presso la Jamia Millia Islamia, Nuova Delhi, con un forte interesse per la Data Science, in particolare le Reti Neurali e le loro applicazioni in vari settori. Le sue recenti pubblicazioni includono "Paged Attention in Large Language Models LLMs", "How BM25 and RAG Retrieve Information Differently?" e "Safely Deploying ML Models to Production: Four Controlled Strategies (A/B, Canary, Interleaved, Shadow Testing)".