Come integrare dati specifici di dominio negli LLM per risposte più precise e sicure

Commento di Shane McAllister, MongoDB

Come integrare dati specifici di dominio nei modelli linguistici di grandi dimensioni (LLM)

15.01.2025

Di Shane McAllister

Tempo di lettura: 5 minuti

Fornitori sull'argomento

• mongoDB
• Fujitsu Technology Solutions GmbH
• INFOMOTION GmbH
• Fivetran Germany GmbH

La Retrieval Augmented Generation (RAG) combina le capacità dei Large Language Models (LLM) con l'aggiunta di dati specifici di dominio in tempo reale. Ciò consente risposte più precise, aggiornate e sicure. Soprattutto i settori altamente regolamentati come la sanità, la finanza e altre infrastrutture critiche potrebbero trarne beneficio.

L'autore: Shane McAllister è Lead Developer Advocate (Global) presso MongoDB

(Immagine: MongoDB)

L'ascesa dei modelli linguistici di grandi dimensioni (LLM)

L'ascesa dei modelli linguistici di grandi dimensioni (Large Language Models, LLM) come GPT-4 ha aperto nuove opportunità alle aziende per utilizzare l'intelligenza artificiale (IA) e sviluppare soluzioni basate sull'IA. Gli LLM possono elaborare enormi quantità di dati e, se ampliati e addestrati con set di dati appropriati, possono svolgere una varietà di compiti specifici dell'azienda.

I limiti degli attuali LLM – e come RAG può superarli

Tuttavia, per fornire informazioni sempre aggiornate e precise, gli LLM dovrebbero essere continuamente aggiornati. In pratica, questo è finora difficilmente realizzabile, motivo per cui gli LLM possono fornire informazioni obsolete o imprecise.

La Retrieval Augmented Generation (RAG) affronta questo problema fornendo agli LLM dati attuali e specifici di dominio, senza la necessità di un nuovo addestramento del modello.

RAG estende la funzionalità degli LLM combinando un modello pre-addestrato con un sistema di recupero che recupera dati da fonti di conoscenza esterne come database o archivi di documenti in tempo reale. Invece di accedere esclusivamente al set di dati di addestramento originale, il sistema di recupero consente al modello di accedere anche a informazioni attuali e specializzate. Cerca in un database o un indice precedentemente specificato e passa le informazioni pertinenti all'LLM. Il risultato sono risposte più precise e contestualizzate che tengono conto dei dati attuali e dei domini applicativi specifici.

Perché RAG è superiore agli LLM tradizionali

RAG consente quindi l'accesso a fonti di dati attuali al momento del recupero. Ciò è particolarmente vantaggioso in ambienti dinamici come il settore delle notizie o il settore finanziario, dove le informazioni possono diventare rapidamente obsolete. Inoltre, con RAG, gli sviluppatori possono anche controllare in modo mirato quali fonti di dati vengono integrate e come questi dati vengono integrati nelle risposte del modello.

Un ulteriore vantaggio di RAG consiste nella possibilità di utilizzare dati sensibili che non facevano parte del set di dati di addestramento originale. Ciò va a beneficio in particolare dei settori altamente regolamentati come l'assistenza sanitaria, dove le normative sulla protezione dei dati come il GDPR o l'HIPAA limitano fortemente l'uso dei dati dei pazienti. Con RAG, tuttavia, un medico può, ad esempio, utilizzare le informazioni attuali dei pazienti per formulare diagnosi più precise, senza compromettere la privacy del paziente. Questo perché RAG utilizza dati provenienti da fonti come le cartelle cliniche dei pazienti, senza che tali dati debbano essere immessi nel modello di intelligenza artificiale, archiviati in modo permanente o resi pubblicamente accessibili. Il modello utilizza le informazioni recuperate esclusivamente durante il tempo di query.

Vantaggi di RAG – Esempio applicativo nel settore sanitario

Un esempio dell'uso di RAG nel settore sanitario è il software NovoScribe dell'azienda farmaceutica Novo Nordisk. Automatizza la creazione di Clinical Study Reports (CSR) e riduce il processo, che prima richiedeva settimane, a pochi minuti. A tal fine, gli LLM fondamentali ospitati da Amazon Bedrock vengono alimentati con dati di report e incorporamenti vettoriali tramite RAG. In questo modo, NovoScribe può combinare i risultati attuali degli studi con i modelli di report standardizzati.

Soprattutto per la medicina e la scienza, dove l'accesso a dati altamente specializzati e spesso anche sensibili è indispensabile, RAG ha un enorme potenziale. Le applicazioni di IA generativa che vengono utilizzate in questi settori non devono essere solo accurate, ma anche sicure, trasparenti, conformi alla protezione dei dati e legalmente. RAG offre la possibilità di includere dati sensibili nella generazione di contenuti in tempo reale, senza dover riaddestrare il modello sottostante o archiviare dati sensibili a lungo termine.

Limiti di RAG

L'efficacia di un sistema RAG dipende fortemente dalla qualità del database di conoscenza e del modulo di recupero utilizzati. In altre parole: RAG è valido solo quanto la fonte di dati sottostante. Se il database contiene informazioni obsolete o imprecise, queste verranno integrate nella generazione di informazioni da parte dell'LLM. RAG non accede alla rete aperta. Pertanto, i database devono essere ancora mantenuti e aggiornati regolarmente per garantire l'accuratezza dei contenuti generati.

Un altro problema che RAG non risolve completamente è il fenomeno delle cosiddette "allucinazioni" negli LLM, in cui il modello fornisce informazioni errate o inventate. Sebbene RAG riduca la probabilità di tali errori integrando informazioni attuali e proprietarie, il problema persiste se il database è difettoso o il modulo di recupero non funziona in modo preciso.

Architetture di database adatte per i sistemi RAG

Il prerequisito per le prestazioni di un sistema RAG e il recupero in tempo reale è una soluzione di database basata su cloud e scalabile, che consenta di archiviare e recuperare in modo efficiente grandi quantità di dati non strutturati e metadati. Una struttura di database di documenti non relazionale soddisfa questo criterio, offre flessibilità nell'adattamento a modelli di dati che cambiano e consente agli sviluppatori di integrare nuovi set di dati o di adattare quelli esistenti, senza ricorrere a schemi rigidi.

Aggiornato al: 08.12.2025

Gestione responsabile dei dati personali

Per noi è una questione di corso trattare i vostri dati personali in modo responsabile. Se raccogliamo dati personali da voi, li elaboriamo in conformità con le normative sulla protezione dei dati applicabili. Informazioni dettagliate sono disponibili nella nostra dichiarazione sulla protezione dei dati.

Consenso all'utilizzo dei dati per scopi pubblicitari

Acconsento a che Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, comprese tutte le società ad essa collegate ai sensi dei §§ 15 e segg. AktG (di seguito: Vogel Communications Group) utilizzi il mio indirizzo e-mail per l'invio di newsletter e pubblicità. Gli elenchi delle rispettive società collegate possono essere consultati qui.

Il contenuto della newsletter si estende a prodotti e servizi di tutte le società sopra menzionate, inclusi, ad esempio, riviste specializzate e libri tecnici, eventi e fiere, nonché prodotti e servizi legati agli eventi, offerte di media cartacei e digitali e servizi come ulteriori newsletter (editoriali), concorsi, campagne di lead generation, ricerche di mercato online e offline, portali web specialistici e offerte di e-learning. Se è stato raccolto anche il mio numero di telefono personale, questo può essere utilizzato per l'offerta dei suddetti prodotti e servizi delle suddette società e per ricerche di mercato.

Il mio consenso include inoltre l'elaborazione del mio indirizzo e-mail e numero di telefono per la corrispondenza dei dati a fini di marketing con partner pubblicitari selezionati come LinkedIn, Google e Meta. A tal fine, Vogel Communications Group può trasmettere i dati menzionati in formato hash ai partner pubblicitari, i quali utilizzeranno tali dati per determinare se sono anch'io membro sui suddetti portali dei partner pubblicitari. Vogel Communications Group utilizza questa funzione a scopi di retargeting (upselling, cross-selling).