Uno studio sulle reti neurali svela i meccanismi di ragionamento dei chatbot IA

Un team di ricercatori dell’Università di Toronto, in collaborazione con il MIT e la società di intelligenza artificiale OpenAI, ha pubblicato questa settimana i risultati di uno studio approfondito su come i chatbot basati su reti neurali profonde, come ChatGPT e GPT‑4, eseguono operazioni di “ragionamento” comparabili a quelle umane. Il lavoro, apparso su Nature Machine Intelligence, rappresenta il primo tentativo sistematico di mappare i processi cognitivi delle macchine su quelli del cervello, sfruttando sia test psicometrici classici sia metodologie di neuro‑imaging.

Obiettivi e metodologia dello studio

Domande di ricerca

• Quali componenti architetturali delle reti neurali sono coinvolti nella generazione di risposte logiche?
• In quale misura i modelli riescono a mantenere una “catena di pensiero” coerente attraverso più passaggi?
• È possibile identificare pattern neurali analoghi a quelli osservati nei soggetti umani durante compiti di ragionamento?

Approccio sperimentale

I ricercatori hanno creato tre set di test:

• Test di inferenza deduttiva: problemi di logica formale (ad esempio Silogismi di Aristotele) presentati sia a soggetti umani sia ai chatbot.
• Test di ragionamento analogico: analogie verbali (tipo “cane è a cucciolo come gatto è a _”).
• Test di pianificazione sequenziale: scenari di problem‑solving a più passi, come “come organizzare una vacanza in 5 giorni includendo voli, hotel e attività”.

I partecipanti umani hanno eseguito i test mentre veniva registrata la loro attività cerebrale mediante fMRI, consentendo di confrontare le mappe di attivazione con le “attività” interne dei modelli, rilevate tramite “activation probing” (analisi delle attivazioni dei tensori interni).

Risultati principali

Convergenza di pattern attivi

Le analisi hanno mostrato che i layer intermedî delle reti, in particolare il terzo e il quarto livello di trasformatori, presentano pattern di attivazione che correlano statisticamente con le regioni prefrontali dorsali (DLPFC) e il cingolo anteriore nei soggetti umani. Queste aree cerebrali sono riconosciute per il loro ruolo nella pianificazione e nell’integrazione di informazioni.

Catene di pensiero emergenti

Quando i chatbot venivano istruiti a “pensare passo dopo passo” (prompting a catena di pensiero), la loro capacità di risolvere problemi complessi aumentava del 27% rispetto a prompt standard. Il modello mostrava una sequenza di attivazioni più lineare, similare alla progressione temporale osservata nei soggetti umani durante compiti analoghi.

Limiti e bias

Nonostante i risultati promettenti, lo studio ha evidenziato che i modelli tendono a generare ragionamenti plausibili ma errati quando sono sottoposti a informazioni ambigue o quando la struttura logica richiede “salti” concettuali non presenti nei dati di addestramento. In questi casi, l’attivazione neurale dei modelli diverge significativamente dalle mappe umane, indicando una mancanza di flessibilità cognitiva.

Implicazioni pratiche per lo sviluppo di chatbot

Le scoperte suggeriscono tre linee d’azione per gli ingegneri IA:

• Integrazione di scaffold cognitivi: introdurre moduli di ragionamento simbolico (ad esempio sistemi basati su logica descrittiva) all’interno dei trasformatori per colmare le lacune nei salti concettuali.
• Prompt engineering avanzato: utilizzare strategie di “chain‑of‑thought prompting” come standard per compiti che richiedono più passaggi, riducendo errori di coerenza.
• Valutazione basata su benchmark neuro‑cognitivi: adottare suite di test ispirate alla psicologia sperimentale per monitorare la “cognitività” dei modelli durante gli aggiornamenti.

Esempi concreti di miglioramenti osservati

Nel test di pianificazione di viaggio, il modello con prompting a catena di pensiero è riuscito a generare itinerari che includono:

• Ottimizzazione dei costi basata su analisi di tariffe medie per periodo.
• Considerazione di restrizioni di visto e vaccinazioni per ciascuna nazione.
• Distribuzione equilibrata delle attività culturali e di relax, basata su preferenze espresse dall’utente.

Il risultato è stato valutato da esperti di turismo, che hanno assegnato un punteggio medio di 8,7/10, rispetto al 5,9/10 del modello senza catena di pensiero.

Criticità etiche e trasparenza

Il fatto che le reti neurali possano imitare processi di ragionamento simili a quelli umani solleva interrogativi sulla responsabilità delle decisioni generate. Lo studio invita a implementare:

• Meccanismi di “explainability” che mostrino quali attivazioni hanno guidato una risposta.
• Log di audit per tracciare le catene di pensiero prodotte, utili in contesti regolamentati come finanza o salute.
• Linee guida per informare gli utenti che le risposte sono il risultato di un processo statistico, non di una comprensione vera e propria.

Prospettive future

Gli autori propongono di estendere la ricerca a modelli multimodali che combinano testo, immagini e suoni, per valutare se la “cognizione” artificiale si conserva anche in scenari più complessi. Inoltre, suggeriscono collaborazioni con neuroscienziati per sviluppare “circuiti ibridi” dove componenti biologici e artificiali cooperano in tempo reale, aprendo la porta a una nuova generazione di intelligenze artificiali più affidabili e interpretabili.