10 concetti di ingegneria LLM spiegati in 10 minuti

I dieci concetti che ogni ingegnere LLM giura di utilizzare per costruire sistemi di intelligenza artificiale affidabili sono fondamentali per chiunque desideri comprendere il funzionamento interno delle applicazioni moderne. Se si sta cercando di capire come funzionano realmente oggi i sistemi basati su modelli linguistici di grandi dimensioni (LLM), è utile smettere di pensare esclusivamente ai prompt. La maggior parte delle applicazioni LLM del mondo reale non sono semplicemente un prompt e una risposta.

Si tratta invece di sistemi complessi che gestiscono il contesto, si connettono a strumenti esterni, recuperano dati e gestiscono molteplici passaggi "dietro le quinte". È qui che si svolge la maggior parte del lavoro effettivo. Anziché concentrarsi esclusivamente sui trucchi di ingegneria dei prompt, è più utile comprendere i blocchi costitutivi che stanno alla base di questi sistemi. Una volta acquisiti questi concetti, diventa chiaro perché alcune applicazioni LLM risultano affidabili e altre meno. Di seguito sono presentati dieci importanti concetti di ingegneria LLM che illustrano come sono effettivamente costruiti i sistemi moderni.

Concetti Chiave nell'Ingegneria dei Modelli Linguistici di Grandi Dimensioni

1. Ingegneria del contesto

L'ingegneria del contesto implica decidere esattamente cosa il modello dovrebbe "vedere" in un dato momento. Questo va oltre la semplice scrittura di un buon prompt; include la gestione di:

• istruzioni di sistema
• cronologia delle conversazioni
• documenti recuperati
• definizioni degli strumenti
• memoria
• passaggi intermedi
• tracce di esecuzione

In sostanza, è il processo di scegliere quali informazioni mostrare, in quale ordine e in quale formato. Questo spesso conta più della sola formulazione del prompt, portando molti a suggerire che l'ingegneria del contesto sia la nuova ingegneria dei prompt. Molti fallimenti degli LLM non si verificano perché il prompt è scadente, ma perché il contesto è mancante, obsoleto, ridondante, mal ordinato o saturo di rumore. Per un approfondimento, l'autore ha scritto un articolo separato su questo argomento: Gentle Introduction to Context Engineering in LLMs.

2. Chiamata di strumenti (Tool Calling)

La chiamata di strumenti consente a un modello di richiamare una funzione esterna invece di tentare di generare una risposta esclusivamente dai suoi dati di addestramento. In pratica, è così che un LLM cerca sul web, interroga un database, esegue codice, invia una richiesta API (Application Programming Interface) o recupera informazioni da una knowledge base. In questo paradigma, il modello non sta più solo generando testo, ma sta scegliendo tra pensare, parlare e agire. Questo è il motivo per cui la chiamata di strumenti è al centro della maggior parte delle applicazioni LLM di livello produttivo. Molti professionisti si riferiscono a questa funzionalità come quella che trasforma un LLM in un "agente", poiché acquisisce la capacità di intraprendere azioni.

3. Protocollo di contesto del modello (MCP)

Mentre la chiamata di strumenti consente a un modello di utilizzare una funzione specifica, il Model Context Protocol (MCP) è uno standard che permette di condividere e riutilizzare strumenti, dati e flussi di lavoro tra diversi sistemi di intelligenza artificiale (AI) come un connettore universale. Prima dell'MCP, l'integrazione di N modelli con M strumenti potrebbe richiedere N×M integrazioni personalizzate, ciascuna con il proprio potenziale di errori. L'MCP risolve questo problema fornendo un modo coerente per esporre strumenti e dati in modo che qualsiasi client AI possa utilizzarli. Sta rapidamente diventando uno standard a livello industriale e rappresenta un elemento chiave per la costruzione di sistemi affidabili e su larga scala.

4. Comunicazione Agente-Agente (A2A)

A differenza dell'MCP, che si concentra sull'esposizione di strumenti e dati in modo riutilizzabile, la comunicazione agente-agente (A2A) si concentra su come più agenti coordinano le proprie azioni. Questo è un chiaro indicatore che l'ingegneria LLM sta andando oltre le applicazioni a agente singolo. Google ha introdotto l'A2A come protocollo per gli agenti per comunicare in modo sicuro, condividere informazioni e coordinare azioni attraverso i sistemi aziendali. L'idea centrale è che molti flussi di lavoro complessi non rientrano più in un singolo assistente. Invece, un agente di ricerca, un agente di pianificazione e un agente di esecuzione potrebbero aver bisogno di collaborare. L'A2A fornisce a queste interazioni una struttura standard, evitando che i team debbano inventare sistemi di messaggistica ad hoc. Per maggiori dettagli, fare riferimento a: Building AI Agents? A2A vs. MCP Explained Simply.

5. Memorizzazione nella cache dei prompt e cache semantica

Se parti del prompt, come istruzioni di sistema, definizioni di strumenti o documenti stabili, non cambiano, è possibile riutilizzarle invece di inviarle nuovamente al modello. Questo è noto come memorizzazione nella cache dei prompt (prompt caching), che aiuta a ridurre sia la latenza che i costi. La strategia prevede di posizionare prima il contenuto stabile e poi quello dinamico, trattando i prompt come blocchi modulari e riutilizzabili. La cache semantica fa un ulteriore passo avanti consentendo al sistema di riutilizzare risposte precedenti per domande semanticamente simili. Ad esempio, se un utente pone una domanda in un modo leggermente diverso, non è necessariamente necessario generare una nuova risposta. La sfida principale è trovare un equilibrio: se il controllo di somiglianza è troppo permissivo, si potrebbe restituire una risposta errata; se è troppo rigoroso, si perdono i guadagni di efficienza. L'autore ha scritto un tutorial su questo che si può trovare qui: Build an Inference Cache to Save Costs in High-Traffic LLM Apps.

6. Compressione contestuale

A volte un retriever trova con successo documenti pertinenti ma restituisce troppo testo. Sebbene il documento possa essere rilevante, il modello spesso ha bisogno solo del segmento specifico che risponde alla query dell'utente. Se si dispone di un rapporto di 20 pagine, la risposta potrebbe essere nascosta in soli due paragrafi. Senza la compressione contestuale, il modello deve elaborare l'intero rapporto, aumentando il rumore e i costi. Con la compressione, il sistema estrae solo le parti utili, rendendo la risposta più veloce e più accurata. Questo è un documento di ricerca fondamentale per coloro che desiderano studiare a fondo questo argomento: Contextual Compression in Retrieval-Augmented Generation for Large Language Models: A Survey.

7. Reranking

Il reranking è un controllo secondario che si verifica dopo il recupero iniziale. In primo luogo, un retriever estrae un gruppo di documenti candidati. Quindi, un reranker valuta quei risultati e posiziona i più pertinenti nella parte superiore della finestra di contesto. Questo concetto è critico perché molti sistemi RAG (Retrieval-Augmented Generation) falliscono non perché il recupero non ha trovato nulla, ma perché la migliore evidenza era sepolta a un rango inferiore mentre frammenti meno rilevanti occupavano la parte superiore del prompt. Il reranking risolve questo problema di ordinamento, il che spesso migliora significativamente la qualità della risposta. È possibile selezionare un modello di reranking da un benchmark come il Massive Text Embedding Benchmark (MTEB), che valuta i modelli in varie attività di recupero e reranking.

8. Recupero ibrido

Il recupero ibrido è un approccio che rende la ricerca più affidabile combinando metodi diversi. Anziché affidarsi esclusivamente alla ricerca semantica, che comprende il significato attraverso gli embedding, la si combina con metodi di ricerca per parole chiave come il Best Matching 25 (BM25). Il BM25 è eccellente nel trovare parole esatte, nomi o identificatori rari che la ricerca semantica potrebbe trascurare. Utilizzando entrambi, si catturano i punti di forza di entrambi i sistemi. L'autore ha esplorato problemi simili nella sua ricerca: Query Attribute Modeling: Improving Search Relevance with Semantic Search and Meta Data Filtering. L'obiettivo è rendere la ricerca più intelligente combinando vari segnali piuttosto che affidarsi a un singolo metodo basato su vettori.

9. Memoria

Molta confusione intorno al concetto di "memoria" deriva dal trattarla come un concetto monolitico. Nei moderni sistemi di agenti, è meglio separare lo stato di lavoro a breve termine dalla memoria a lungo termine. La memoria a breve termine rappresenta ciò che l'agente sta attualmente utilizzando per completare un compito specifico. La memoria a lungo termine funziona come un database di informazioni memorizzate, organizzate per chiavi o namespace, ed è portata nella finestra di contesto solo quando è rilevante. La memoria nell'AI è essenzialmente un problema di recupero e gestione dello stato. Si deve decidere cosa archiviare, come organizzarlo e quando richiamarlo per garantire che l'agente rimanga efficiente senza essere sopraffatto da dati irrilevanti.

10. Routing dell'inferenza

Il routing dell'inferenza implica trattare ogni richiesta al modello come un problema di gestione del traffico. Anziché inviare ogni query attraverso lo stesso percorso, il sistema decide dove dovrebbe andare in base alle esigenze dell'utente, alla complessità del compito e ai vincoli di costo. Le richieste semplici potrebbero essere indirizzate a un modello più piccolo e veloce, mentre i compiti di ragionamento complessi vengono instradati a un modello più potente. Questo è essenziale per le applicazioni LLM su larga scala, dove velocità ed efficienza sono importanti quanto la qualità. Un routing efficace garantisce tempi di risposta migliori per gli utenti e un'allocazione delle risorse più ottimale per il provider.

Il principale insegnamento è che le moderne applicazioni LLM funzionano al meglio quando si pensa in termini di sistemi piuttosto che solo di prompt. Quando si visualizzano le applicazioni LLM attraverso questa lente, le soluzioni più affidabili e innovative diventano chiare, permettendo di costruire sistemi di intelligenza artificiale più robusti e scalabili.