Cos'è l'ingegneria del contesto? E perché è la nuova architettura dell'AI

Mentre alcuni considerano la formulazione dei prompt come un trucco manuale, l'ingegneria del contesto si distingue come una disciplina scalabile. Essa insegna a costruire sistemi di intelligenza artificiale in grado di gestire il proprio flusso di informazioni utilizzando meccanismi come MCP (Master Context Processor) e il caching del contesto. L'ingegneria del contesto è la pratica di progettare sistemi che determinano quali informazioni un modello di intelligenza artificiale vede prima di generare una risposta all'input dell'utente. Va oltre la semplice formattazione dei prompt o la creazione di istruzioni, modellando invece l'intero ambiente in cui opera il modello: dati di fondamento, schemi, strumenti, vincoli, politiche e i meccanismi che decidono quali pezzi di informazione entrano nell'input del modello in un dato momento. In termini applicati, una buona ingegneria del contesto significa stabilire un piccolo insieme di token ad alto segnale che migliorano la probabilità di un risultato di alta qualità.

Si può pensare all'ingegneria dei prompt come una disciplina predecessora dell'ingegneria del contesto. Mentre l'ingegneria dei prompt si concentra sulla formulazione, sulla sequenza e sulle istruzioni a livello di superficie, l'ingegneria del contesto estende la disciplina all'architettura e all'orchestrazione. Tratta il prompt come un solo strato in un sistema più ampio che seleziona, struttura e fornisce le informazioni giuste nel formato corretto in modo che un modello linguistico di grandi dimensioni (LLM) possa plausibilmente svolgere il suo compito assegnato.

Cosa significa "contesto" nell'intelligenza artificiale?

Nei sistemi di intelligenza artificiale, il contesto si riferisce a tutto ciò a cui un modello linguistico di grandi dimensioni (LLM) ha accesso quando produce una risposta, non solo all'ultima query dell'utente, ma all'intera busta di informazioni, regole, memoria e strumenti che modellano il modo in cui il modello interpreta quella query. La quantità totale di informazioni che il sistema può elaborare contemporaneamente è chiamata finestra di contesto.

Il contesto è costituito da un numero di strati diversi che lavorano insieme per guidare il comportamento del modello:

• Il prompt di sistema definisce il ruolo, i confini e il comportamento del modello. Questo strato può includere regole, esempi, guardrail e requisiti di stile che persistono attraverso le interazioni.
• Un prompt utente è la richiesta immediata, l'input a breve termine e specifico per il compito che indica al modello cosa fare in quel momento.
• Lo stato o la cronologia della conversazione agisce come memoria a breve termine, dando al modello continuità tra le interazioni includendo il dialogo precedente, i passaggi di ragionamento e le decisioni.
• La memoria a lungo termine è persistente e si estende su molte sessioni. Contiene preferenze durature, fatti stabili, riassunti di progetti o informazioni che il sistema è progettato per reintrodurre in seguito.
• Le informazioni recuperate forniscono al modello conoscenze esterne e aggiornate, estraendo frammenti pertinenti da documenti, database o API. La generazione aumentata dal recupero (RAG) trasforma questo in uno strato di conoscenza dinamico e specifico per il dominio.
• Gli strumenti disponibili consistono nelle azioni che un LLM è in grado di eseguire con l'aiuto della chiamata di strumenti o dei server MCP: chiamate di funzione, endpoint API e comandi di sistema con input e output definiti. Questi strumenti aiutano il modello a intraprendere azioni piuttosto che produrre solo testo.
• Le definizioni di output strutturato indicano al modello esattamente come la sua risposta dovrebbe essere formattata, ad esempio, richiedendo un oggetto JSON, una tabella o uno schema specifico.

Insieme, questi strati formano il contesto completo che un sistema di intelligenza artificiale utilizza per generare risposte che si spera siano accurate e fondate. Tuttavia, una serie di difficoltà con il contesto nell'intelligenza artificiale possono portare a risultati subottimali.

Cos'è il fallimento del contesto?

Il termine "fallimento del contesto" descrive una serie di comuni modalità di guasto quando i sistemi di contesto dell'AI vanno in errore. Questi fallimenti rientrano in quattro categorie principali:

• L'avvelenamento del contesto (context poisoning) si verifica quando un'allucinazione o un altro errore fattuale si insinua nel contesto e viene poi utilizzato come se fosse verità. Nel tempo, il modello costruisce su questa premessa difettosa, aggravando gli errori e facendo deragliare il ragionamento.
• La distrazione del contesto (context distraction) si verifica quando il contesto diventa troppo grande o prolisso. Invece di ragionare dai dati di addestramento, il modello può concentrarsi eccessivamente sulla storia accumulata, ripetendo azioni passate o aggrappandosi a vecchie informazioni invece di sintetizzare una risposta fresca e pertinente.
• La confusione del contesto (context confusion) nasce quando materiale irrilevante (strumenti extra, dati rumorosi o contenuti non correlati) si insinua nel contesto. Il modello può trattare quelle informazioni irrilevanti come importanti, portando a output scadenti o chiamate di strumenti errate.
• Il conflitto di contesto (context clash) si verifica quando un nuovo contesto entra in conflitto con un contesto precedente. Se le informazioni vengono aggiunte in modo incrementale, ipotesi precedenti o risposte parziali possono contraddire dati successivi più chiari, risultando in un comportamento del modello incoerente o interrotto.

Uno degli avanzamenti che attori dell'AI come OpenAI e Anthropic hanno offerto per i loro chatbot sono la capacità di gestire finestre di contesto sempre più grandi. Ma la dimensione non è tutto, e anzi finestre più grandi possono essere più soggette ai tipi di fallimenti qui descritti. Senza una gestione deliberata del contesto (validazione, riassunto, recupero selettivo, potatura o isolamento), anche finestre di contesto ampie possono produrre risultati inaffidabili o incoerenti.

Quali sono alcune tecniche e strategie di ingegneria del contesto?

L'ingegneria del contesto mira a superare questi tipi di fallimenti del contesto. Ecco alcune delle principali tecniche e strategie da applicare:

Selezione della base di conoscenza o degli strumenti

Scegliere le fonti di dati esterne, i database, i documenti o gli strumenti da cui il sistema dovrebbe attingere. Una base di conoscenza ben curata indirizza il recupero verso contenuti pertinenti e riduce il rumore.

Ordinamento o compressione del contesto

Decidere quali pezzi di informazione meritano spazio e quali dovrebbero essere accorciati o rimossi. I sistemi spesso accumulano molto più testo di quanto il modello necessiti, quindi la potatura o la ristrutturazione mantiene il materiale ad alto segnale eliminando il rumore. Ad esempio, si potrebbe sostituire una cronologia di conversazione di 2.000 parole con un riassunto di 150 parole che preserva decisioni, vincoli e fatti chiave ma omette chiacchiere e divagazioni. Oppure si potrebbero ordinare i documenti recuperati per punteggio di rilevanza e iniettare solo i primi due blocchi invece di tutti i venti. Entrambi gli approcci mantengono la finestra di contesto focalizzata sulle informazioni più propense a produrre una risposta corretta.

Progettazione dell'archiviazione e del recupero della memoria a lungo termine

Definisce come le informazioni persistenti (incluse preferenze utente, riassunti di progetti, fatti di dominio o risultati di sessioni precedenti) vengono salvate e reintrodotte quando necessario. Un sistema potrebbe memorizzare lo stile di scrittura preferito da un utente una volta e reinserire automaticamente un breve riassunto di tale preferenza nei prompt futuri, invece di richiedere all'utente di ridirla manualmente ogni volta. Oppure potrebbe memorizzare i risultati di un'attività di ricerca multi-step in modo che il modello possa richiamarli in sessioni successive senza rieseguire l'intero flusso di lavoro.

Informazioni strutturate e schemi di output

Questi consentono di fornire formati prevedibili sia per il contesto che per le risposte. Fornire al modello un contesto strutturato (come un elenco di campi che l'utente deve compilare o uno schema di dati predefinito) riduce l'ambiguità e impedisce al modello di improvvisare i formati. Richiedere un output strutturato fa lo stesso: ad esempio, esigere che ogni risposta si conformi a una specifica forma JSON consente ai sistemi a valle di convalidare e consumare l'output in modo affidabile.

Ingegneria del flusso di lavoro

È possibile collegare più chiamate LLM, passaggi di recupero e azioni di strumenti in un processo coerente. Invece di emettere un unico prompt gigante, si progetta una sequenza: raccogliere i requisiti, recuperare i documenti, riassumerli, chiamare una funzione, valutare il risultato e solo allora generare l'output finale. Ogni passaggio inietta il contesto giusto al momento giusto. Un esempio pratico è un bot di supporto clienti che recupera prima i dati dell'account, poi chiede all'LLM di classificare il problema dell'utente, poi chiama un'API interna e solo allora compone il messaggio finale.

Recupero selettivo e generazione aumentata dal recupero (RAG)

Questa tecnica applica il filtraggio in modo che il modello veda solo le parti dei dati esterni che contano. Invece di alimentare il modello con un'intera base di conoscenza, si recuperano solo i paragrafi che corrispondono alla query dell'utente. Un esempio comune è la suddivisione dei documenti in piccole sezioni, la loro classificazione per rilevanza semantica e l'iniezione solo delle prime poche nel prompt.

In sintesi, l'ingegneria del contesto non è solo un'ottimizzazione, ma un cambiamento fondamentale nell'architettura AI. Sviluppando sistemi che gestiscono il contesto in modo intelligente e strategico, possiamo superare i limiti degli LLM e sbloccare il loro vero potenziale, costruendo applicazioni di intelligenza artificiale più robuste, affidabili e potenti.