Come le aziende gestiscono le allucinazioni dell'IA

Quando si inserisce un prompt in un modello di intelligenza artificiale, ci si aspetta generalmente che la risposta sia veritiera. Dopotutto, questo è il motivo principale per cui le persone utilizzano questi strumenti. Tuttavia, è fin troppo comune che un utente ponga una domanda e riceva una risposta che, a prima vista, sembra credibile, ma che si rivela essere falsa. Questo fenomeno è noto come allucinazione dell'IA.

Per le aziende che intendono integrare l'intelligenza artificiale (IA) per supportare le loro operazioni, diventa sempre più cruciale capire come gestire e mitigare le allucinazioni dell'IA. Mentre i modelli di IA rispondono ai prompt in modo coerente, le allucinazioni si manifestano occasionalmente. I dati della startup di IA Vectara stimano che le allucinazioni dell'IA si verifichino tra lo 0,7 percento e il 29,9 percento dei casi, a seconda del modello linguistico di grandi dimensioni (LLM) utilizzato.

Questa anomalia deriva dal fatto che l'IA riconosce schemi o oggetti all'interno del suo set di dati di addestramento che in realtà non esistono, fornendo così una risposta che non è fattualmente corretta. Poiché le risposte errate sono generate e presentate allo stesso modo di quelle veritiere, non è immediatamente evidente quando si verifica un'allucinazione dell'IA. Le allucinazioni dell'IA esistono da quando sono stati sviluppati i LLM e i programmi di IA generativa, ma sono diventate più evidenti con la crescente diffusione della tecnologia. Grazie alla disponibilità di massa di strumenti come ChatGPT e DeepSeek, oggi ci sono più utenti occasionali che interagiscono con l'IA, molti dei quali potrebbero non avere una comprensione approfondita del funzionamento interno di tali sistemi.

Allo stesso modo, le aziende stanno ora implementando l'IA nelle loro operazioni in modi più diversificati, spesso senza possedere necessariamente una conoscenza completa del suo funzionamento. Ciò aumenta la visibilità delle allucinazioni e il loro potenziale danno, poiché le applicazioni in contesti aziendali possono avere conseguenze più significative rispetto all'uso individuale.

Come nascono le allucinazioni dell'IA

Sebbene non siano perfetti, ci si aspetta che gli strumenti di IA forniscano risposte veritiere alle richieste umane. Il nome stesso "intelligenza artificiale" implica che lo strumento sia una fonte di conoscenza autentica; molti utenti interpretano questo letteralmente. Gli utenti occasionali di IA potrebbero non sapere esattamente come funziona la tecnologia e quindi non sono consapevoli che le risposte corrette si basano più sul riconoscimento di schemi che su una comprensione cosciente. Ciò significa che molti utenti non sanno che le risposte provenienti dall'IA devono essere verificate per eventuali allucinazioni.

Questo problema è aggravato dal fatto che ai modelli di IA vengono spesso poste domande su argomenti di cui l'utente ha una conoscenza insufficiente, motivo per cui si rivolge al modello in primo luogo. Senza una conoscenza approfondita sull'argomento, può essere difficile individuare anche errori evidenti nelle risposte. L'IA, inoltre, trae la sua risposta da un vasto set di dati che contiene materiale fattuale, quindi le allucinazioni dell'IA probabilmente conterranno alcuni elementi di verità o somiglianze con essa. Questo può essere sufficientemente convincente da ingannare l'utente. Sebbene l'utente possa condurre ricerche indipendenti e verificare la risposta, ciò può richiedere tempo e vanifica la convenienza che l'uso dell'IA dovrebbe offrire.

A complicare ulteriormente le cose, quando l'utente chiede all'IA prove a supporto della sua risposta, il modello genera spesso ulteriori informazioni imprecise. Le prove sembrano convincenti a prima vista, in modo che l'utente non si renda conto che si tratta di un'allucinazione dell'IA. Anche in questo caso, vengono semplicemente utilizzati i dati per trovare schemi, quindi non c'è intento malevolo, ma le implicazioni sono comunque reali. Ciò è accaduto, ad esempio, a uno studio legale che, nel 2023, lavorava a una causa negli Stati Uniti relativa a un incidente aereo e ha utilizzato ChatGPT per la ricerca, incorporando involontariamente materiale fittizio nelle sue argomentazioni. Alla fine, gli avvocati sono stati multati per condotta impropria.

Le allucinazioni dell'IA possono manifestarsi rapidamente ed essere difficili da rilevare, specialmente in assenza di un processo di verifica dei fatti. Mentre alcune allucinazioni possono essere innocue, altre possono avere conseguenze significative, soprattutto quando vengono utilizzate in un contesto aziendale.

I potenziali pericoli delle allucinazioni dell'IA nel mondo aziendale

Quando un singolo utente riceve un'informazione errata, ciò può essere fastidioso ma, in ultima analisi, non dannoso. Quando un dipendente utilizza l'IA e riceve un'allucinazione, le implicazioni possono essere di vasta portata e dannose. Ciò è particolarmente vero se i risultati supportano la strategia aziendale o convincono parti esterne su un determinato corso d'azione. Ad esempio, se un'allucinazione dell'IA fornisce numeri falsi, ma il dipendente non ne riconosce l'inesattezza, tali numeri potrebbero essere utilizzati in documenti aziendali che ingannano investitori, azionisti o clienti sul reale andamento dell'attività. Ciò può minare la fiducia nell'azienda e danneggiarne la reputazione sul mercato, con effetti a cascata sulla sua stabilità finanziaria e sulla percezione pubblica.

La generazione di informazioni imprecise da parte di un'allucinazione dell'IA può prosciugare risorse e ritardare le operazioni. È probabile che questi errori vengano scoperti prima o poi, costringendo i dipendenti a verificare e correggere le informazioni prima che i processi possano essere ripresi manualmente, ma solo dopo un ritardo significativo. Poiché l'errore non viene rilevato immediatamente, tempo ed energia preziosi vengono sprecati. Se ciò accade su larga scala, può influire in modo significativo sulle prestazioni complessive dell'azienda e avere un impatto negativo sui ricavi. Questo è esattamente l'opposto di ciò per cui la maggior parte dei programmi di IA viene implementata: aumentare l'efficienza e alleggerire il carico di lavoro dei dipendenti, non creare ulteriori colli di bottiglia e inefficienze.

A causa del potenziale impatto delle allucinazioni dell'IA, molti decisori stanno diventando sempre più scettici riguardo all'uso dell'IA per casi d'uso importanti. Questa riluttanza può impedire alle aziende di sfruttare i vantaggi dell'IA nel tentativo di evitare le insidie. Per questo motivo, la lotta al problema delle allucinazioni dell'IA ha anche un impatto positivo sulla strategia complessiva di IA delle aziende, poiché infonde maggiore fiducia nella tecnologia e incoraggia un'adozione più ampia e sicura. Quando la fiducia è ripristinata, le aziende sono più propense a esplorare applicazioni innovative che possono portare a significativi vantaggi competitivi e a una maggiore efficienza operativa.

Come le aziende affrontano le allucinazioni dell'IA

Le allucinazioni dell'IA sono un sottoprodotto inevitabile dell'elaborazione dei modelli LLM, ma ciò non significa che le aziende non possano ridurne l'incidenza o l'impatto. Esistono diversi approcci a questo problema, alcuni dei quali si concentrano sul miglioramento del set di dati originale, mentre altri esaminano l'aspetto della verifica dei fatti degli strumenti di IA.

Ragionamento automatico (Automated Reasoning)

Un approccio consiste nell'utilizzare il ragionamento automatico per verificare i risultati dell'IA mentre vengono generati. Amazon, attraverso l'introduzione del suo prodotto Automated Reasoning Checks, è un fornitore di una soluzione contro le allucinazioni dell'IA. Il ragionamento automatico utilizza algoritmi matematici, basati sulla logica, e processi di inferenza per dimostrare la correttezza del risultato, offrendo agli utenti una maggiore fiducia nell'accuratezza dei loro risultati. Poiché il processo è automatizzato, i clienti non devono ritardare le loro operazioni o verificare manualmente i fatti.

Ogni cliente seleziona le proprie politiche e crea una "verità assoluta" personalizzata, rispetto alla quale vengono verificati i risultati dell'IA, in modo che i risultati siano rilevanti per i loro specifici casi d'uso. Questo sistema permette di adattare i controlli di validità alle esigenze uniche di ciascuna organizzazione, garantendo che le informazioni generate dall'IA siano non solo accurate, ma anche pertinenti al contesto aziendale. In questo modo, il ragionamento automatico agisce come un meccanismo di controllo preventivo, riducendo significativamente la probabilità che informazioni errate influenzino decisioni critiche. PwC utilizza attualmente strumenti del suo portfolio, inclusa la soluzione Maestro Medical Legal Review, per verificare che i risultati dell'IA siano conformi alle normative.

Miglioramento della qualità dei dati

Un altro metodo fondamentale per mitigare le allucinazioni dell'IA consiste nel migliorare la qualità del set di dati originale utilizzato per addestrare i modelli. Dati di addestramento puliti, pertinenti e accurati sono essenziali per ridurre la probabilità che l'IA generi risposte inventate o errate. Investire in processi robusti di raccolta, pulizia e validazione dei dati può avere un impatto significativo sull'affidabilità complessiva dei sistemi di IA. Questo include l'eliminazione di informazioni ambigue, contraddittorie o obsolete, nonché la garanzia che i dati siano rappresentativi e non presentino distorsioni che potrebbero portare a generalizzazioni inaccurate. Mantenere un'alta qualità dei dati non è solo una pratica raccomandata, ma una componente critica per lo sviluppo di sistemi di IA che possano essere affidabili e utili in contesti aziendali.