L'ingegneria del contesto in Silicon Valley: Karpathy spinge l'ingegneria dei prompt fuori moda

Un vento di cambiamento sta soffiando sulla Silicon Valley, portando con sé una nuova terminologia che sta rapidamente detronizzando un concetto un tempo onnipresente. Quella che una volta era l'acclamata "prompt engineering" sta ora cedendo il passo all'emergente e molto discussa "contest engineering" (ingegneria del contesto). L'entusiasmo per questo nuovo paradigma è palpabile, specialmente dopo che figure di spicco nel mondo dell'intelligenza artificiale e della tecnologia, come Andrey Karpathy, guru dell'IA, e Tobias Lütke, CEO di Shopify, hanno espresso il loro forte sostegno.

Karpathy, in particolare, ha personalmente avallato questa nuova disciplina, che lui stesso descrive come una "programmazione ambientale completamente nuova". Non sono più i codici sofisticati a determinare il successo o il fallimento di un agente di intelligenza artificiale, ma la qualità e la completezza del contesto in cui opera. Questa svolta concettuale evidenzia una comprensione più profonda di come i modelli linguistici di grandi dimensioni (LLM) possano essere ottimizzati per prestazioni superiori, spostando l'attenzione da istruzioni stringate a un ambiente informativo ricco e dinamico.

Perché l'ingegneria del contesto è diventata popolare così rapidamente?

L'ascesa improvvisa dell'ingegneria del contesto è intrinsecamente legata all'emergere e alla crescente importanza degli agenti di intelligenza artificiale. Greg Brockman, presidente di OpenAI, ha pubblicamente dichiarato più volte che "il 2025 sarà l'anno della nascita degli agenti AI". Questa previsione sottolinea l'urgenza di sviluppare metodi più efficaci per la loro creazione e gestione.

Il fattore decisivo per il successo o il fallimento di un agente AI, come è stato riconosciuto, non risiede nella complessità intrinseca del modello, ma nella "qualità del contesto" che gli viene fornito. Questo significa che le informazioni caricate nella "memoria di lavoro limitata" dell'agente sono di importanza capitale. È stato osservato che la maggior parte dei casi di fallimento degli agenti AI non deriva da un difetto del modello sottostante, ma piuttosto da un contesto inadeguato o mal formulato. Questo ha spinto la comunità dell'IA a riconsiderare l'approccio alla preparazione dei modelli per compiti complessi, ponendo l'ingegneria del contesto al centro della discussione.

Che cos'è esattamente il contesto?

Per comprendere appieno l'ingegneria del contesto, è fondamentale prima espandere la definizione di "contesto" stessa. Non si tratta più solo del singolo prompt che si invia a un LLM. Si può piuttosto considerare come "tutto ciò che il modello vede prima di generare una risposta", includendo:

• Istruzioni/Prompt di sistema: L'insieme iniziale di istruzioni che definisce il comportamento del modello in un dialogo. Questo può e dovrebbe includere esempi, regole e altre direttive fondamentali.
• Prompt dell'utente: Il compito o la domanda attuale posta dall'utente al modello.
• Stato/Storia (memoria a breve termine): Il dialogo attuale, comprendente le risposte dell'utente e del modello fino a quel momento, che permette di mantenere la coerenza conversazionale.
• Memoria a lungo termine: Un repository di conoscenza permanente, accumulato attraverso diversi dialoghi precedenti, che contiene preferenze apprese dell'utente, riassunti di progetti passati o fatti da conservare per uso futuro.
• Informazioni recuperate (RAG - Retrieval Augmented Generation): Conoscenza esterna e in tempo reale, informazioni pertinenti da documenti, database o API, utilizzate per rispondere a domande specifiche o per fornire dati aggiuntivi.
• Strumenti disponibili: La definizione di tutte le funzioni o strumenti integrati che il modello può richiamare, come check_inventory (verifica inventario) o send_email (invia e-mail).
• Output strutturato: La definizione del formato di risposta del modello, ad esempio, un oggetto JSON, che garantisce che l'output sia comprensibile e utilizzabile da altri sistemi.

Si evince chiaramente che, a differenza della "prompt engineering", che si concentra sulla creazione di istruzioni perfette in una singola stringa di testo, il campo dell'ingegneria del contesto è significativamente più ampio e complesso. In termini semplici, l'ingegneria del contesto è una disciplina che si occupa della progettazione e costruzione di sistemi dinamici. Questi sistemi sono in grado di fornire le informazioni e gli strumenti giusti, al momento giusto e nel formato corretto, affinché il LLM abbia tutto ciò di cui ha bisogno per completare un compito specifico.

Caratteristiche dell'ingegneria del contesto

Le peculiarità dell'ingegneria del contesto la distinguono nettamente dalle metodologie precedenti. Ecco tutte le sue caratteristiche distintive:

• È un sistema, non una stringa: Il contesto non è un template di prompt statico, ma l'output di un sistema che opera già prima della chiamata principale al LLM. Questo sistema è responsabile della raccolta, organizzazione e presentazione delle informazioni.
• È dinamico: Il contesto viene generato istantaneamente e su misura per il compito attuale. Ad esempio, una richiesta potrebbe richiedere dati del calendario, mentre un'altra potrebbe necessitare di contenuti e-mail o risultati di ricerca da internet. La sua natura dinamica gli consente di adattarsi alle esigenze specifiche di ogni interazione.
• Pone l'accento sulla fornitura delle informazioni e degli strumenti giusti al momento giusto: Il compito centrale è garantire che il modello non perda dettagli importanti (pensate al principio "spazzatura in entrata, spazzatura in uscita"). Ciò significa che al modello vengono fornite conoscenza (informazioni) e capacità (strumenti) solo quando sono necessarie e utili, evitando sovraccarichi inutili.
• Pone l'accento sul formato: Il modo in cui le informazioni vengono presentate è di importanza cruciale. Un riassunto conciso è di gran lunga migliore che elencare dati grezzi; una chiara definizione dell'interfaccia di uno strumento è anche molto più efficace di un'istruzione vaga o ambigua. Il formato ottimale migliora la comprensione e l'efficienza del modello.

L'ingegneria del contesto: scienza e arte

Nella sua valutazione approfondita, Karpathy ha anche espresso la convinzione che l'ingegneria del contesto sia una forma d'arte. Spesso, il termine "prompt" è associato alla breve descrizione del compito che si invia quotidianamente a un LLM. Tuttavia, in ogni applicazione LLM di livello industriale, l'ingegneria del contesto si rivela una scienza profonda e anche un'arte raffinata.

Il fulcro è riempire la finestra di contesto per l'azione successiva con esattamente le informazioni giuste. Si parla di una scienza perché richiede la combinazione di una serie di tecniche, tra cui:

• Descrizione e spiegazione del compito.
• Esempi di apprendimento "few-shot".
• RAG (Retrieval Augmented Generation).
• Dati rilevanti (possibilmente multimodali).
• Strumenti specifici.
• Stato e storia della conversazione.
• Tecniche di compressione delle informazioni.

Se le informazioni sono troppo poche o il formato è sbagliato, il LLM non ha abbastanza contesto per esprimere le sue migliori prestazioni; al contrario, se ci sono troppe informazioni o sono irrilevanti, i costi del LLM aumentano e le prestazioni diminuiscono. Questo equilibrio delicato rende la scienza dietro l'ingegneria del contesto particolarmente complessa.

Si parla di un'arte, invece, perché dipende dall'intuizione e dalla guida dello sviluppatore per le "caratteristiche" del modello linguistico di grandi dimensioni. È l'abilità di capire come il modello interpreta e reagisce a diversi tipi di input e contesti, e di modellare l'ambiente di conseguenza.

Oltre l'ingegneria del contesto: il livello software complesso

È importante sottolineare che l'ingegneria del contesto è solo una piccola parte di un emergente, vasto e complesso livello software. Al di fuori dell'ingegneria del contesto stessa, un'applicazione basata su LLM deve anche:

• Scomporre il problema in un flusso di controllo appropriato.
• Riempire con precisione la finestra di contesto.
• Distribuire la chiamata a un LLM con il tipo e la capacità corretti.
• Gestire il processo UI/UX di "Genera - Valida".
• E molto altro ancora, come barriere di sicurezza, sicurezza del sistema, valutazione dell'efficacia, elaborazione parallela, pre-recupero dei dati e altre ottimizzazioni.

Questo dimostra che l'ingegneria del contesto si inserisce in un ecosistema software molto più ampio, responsabile dell'integrazione e del coordinamento delle singole chiamate LLM e di molte altre operazioni per creare un'applicazione LLM completa e funzionale. Karpathy ha chiarito che è obsoleto e completamente errato definire tali applicazioni superficialmente come "ChatGPT-wrapper", ovvero semplici involucri di ChatGPT.

Alcuni utenti di internet hanno scherzato, definendo l'ingegneria del contesto la nuova "programmazione dell'atmosfera". Karpathy ha risposto: "Non voglio necessariamente introdurre una nuova parola. Trovo solo che, quando si parla di 'prompt', si tende a semplificare una componente in realtà piuttosto complessa." Usare un prompt per chiedere a un LLM "perché il cielo è blu?" è un conto, ma un'applicazione deve costruire un contesto per il modello linguistico di grandi dimensioni per risolvere i compiti a essa assegnati. Il successo o il fallimento di un agente dipende proprio da questo.

La chiave per gli agenti AI efficienti

In effetti, il segreto per la creazione di un agente AI veramente efficiente non risiede nella complessità del codice, ma nella qualità del contesto che viene fornito. La differenza fondamentale tra un prodotto dimostrativo insufficiente e un agente impressionante risiede nella qualità del contesto offerto. Immaginate un assistente AI che deve pianificare una riunione basandosi su una semplice e-mail: senza un contesto adeguato, che includa le disponibilità dei partecipanti, le preferenze di luogo, l'obiettivo della riunione e l'accesso agli strumenti di calendario, la sua performance sarà limitata. È l'ingegneria del contesto a trasformare un LLM da un semplice elaboratore di testo a un risolutore di problemi intelligente e autonomo, pronto per l'era degli agenti AI.