AntAngelMed: Il Modello Al Linguaggio Medico A Fonte Aperta Con 103 Miliardi Di Parametri

Un team di ricercatori cinesi ha lanciato AntAngelMed, un modello di linguaggio medico opensource che si distingue per le sue dimensioni e le sue capacità. AntAngelMed rappresenta un'evoluzione significativa nel campo grazie alla sua implementazione all'avanguardia e ai miglioramenti offerti rispetto a modelli concorrenti.

Che cos'è AntAngelMed? Con un totale di 103 miliardi di parametri, AntAngelMed utilizza un'architettura a miscela di esperti (MoE) con un rapporto di attivazione di 1/32. Ciò significa che solo circa 6,1 miliardi di parametri vengono utilizzati durante l'elaborazione di una query.

Come Funziona l'Architettura MoE?

In un modello tradizionale, ogni parametro partecipa all'elaborazione di ogni token. Nell'architettura MoE, invece, la rete è divisa in tante sottoreti chiamate 'esperti'. Un meccanismo di routing seleziona solo una piccola parte per gestire ciascun input. Questo permette di disporre di un numero elevato di parametri totali, correlati con una forte capacità di conoscenza, mantenendo però un costo computazionale inferenziale proporzionale al minor numero di parametri attivi.

AntAngelMed eredita tale progettazione da Ling-flash-2.0, un modello di base sviluppato da inclusionAI e guidato da ciò che il team denomina Ling Scaling Laws. Gli aggiustamenti specifici applicati includono una granularità raffinata degli esperti, una percentuale di esperti condivisi ottimizzata, meccanismi di bilanciamento dell'attenzione, il routing sigmoidale senza perdita ausiliaria, una strato MTP (Multi-Token Prediction), QK-Norm e Partial-RoPE (Rotary Position Embedding applicata a un sottoinsieme di testate di attenzione invece che a tutte).

Risultati Ottimali

Grazie a queste scelte progettuali, i modelli di piccola attivazione MoE possono offrire un'efficienza fino a 7 volte maggiore rispetto ad architetture dense simili, il che significa che con soli 6,1 miliardi di parametri attivati, AntAngelMed può raggiungere un livello di prestazioni simile a modelli densi da 40 miliardi di parametri. Inoltre, man mano che il lunghezza della risposta aumenta durante l'inferenza, il vantaggio di velocità relativo può raggiungere anche 7 volte o più.

Processo Di Training

Il training di AntAngelMed utilizza un processo a tre fasi, concepito per strutturare una comprensione linguistica generale su un adattamento molto approfondito del campo medico.

• Prima Fase: Pre-addestramento continuo su corpora medici di grandi dimensioni inclusi enciclopedie, testo web e pubblicazioni accademiche. Questa fase si basa su un checkpoint Ling-flash-2.0.
• Seconda Fase: Addestramento Supervisivo (SFT), dove il modello viene addestrato su un dataset di istruzioni di origine multipla. Questo dataset mescola compiti di ragionamento generale (matematica, programmazione, logica) per preservare le capacità di catena di pensiero, insieme a scenari medici come colloqui tra medico e paziente, ragionamento diagnostico, e casi su sicurezza e etica.
• Terza Fasa: Apprendimento con rinforzo utilizzando l'algoritmo GRPO (Group Relative Policy Optimization), insieme a modelli di ricompensa specifici per i compiti. L'obiettivo è orientare il comportamento del modello verso empatia, risposte cliniche strutturate, limiti di sicurezza e ragionamento basato su prove, con l'obiettivo di ridurre le hallucinazioni in ambito medico.

Prestazioni D'Inferenza

Sui dispositivi H20, AntAngelMed supera i 200 token al secondo, velocità che l'équipe di ricerca indica essere circa 3 volte quella di un modello denso da 36 miliardi di parametri. Con l'estrapolazione YaRN, AntAngelMed supporta una lunghezza di contesto fino a 128K — sufficiente per gestire documenti clinici completi, anamnesi estese o conversazioni mediche a più turni.

Risultati Su Benchmark

Il modello si colloca al primo posto in diversi benchmark aperti per modelli di linguaggio medico. Al HealthBench, il benchmark per valutazione di modelli medici opensource che utilizza una simulazione di dialoghi medici a più turni per valutare prestazioni cliniche reali, AntAngelMed è in grado di superare diversi modelli proprietari, evidenziando un vantaggio particolarmente marcato nel subset HealthBench-Hard.

Su MedAIBench, un sistema di valutazione mantenuto dal Pilot Facility nazionale di intelligenza artificiale per l'industria medica cinese, AntAngelMed si colloca in cima con particolari punteggi elevati nelle categorie di domande e risposte mediche e di etica e sicurezza mediche.

Su MedBench, che è un benchmark per modelli cinesi di intelligenza artificiale nella sanità, coprendo 36 dataset autonomi e circa 700.000 campioni in cinque dimensioni (domande e risposte mediche, comprensione linguistica medica, generazione linguistica medica, ragionamento medicale complesso, e sicurezza ed etica), AntAngelMed si colloca al primo posto.

In sintesi, grazie al suo design unico e all'addestramento mirato, AntAngelMed rappresenta un'importante avanzata tecnologica, un modello di linguaggio medico opensource con potenziale per applicazioni molto varie, supportando sia il miglioramento del campo medico che la sostenibilità delle tecnologie in questo settore.