Esperti adottano opinioni casuali di agenti AI credendole proprie, studio di Anthropic

Uno studio condotto da Anthropic ha rivelato che gli esperti tendono ad adottare le opinioni casuali degli agenti di intelligenza artificiale, credendole proprie. L'esperimento ha coinvolto 50 esperti in inferenza causale, ai quali è stato chiesto di lavorare su quattro compiti analitici senza una risposta chiaramente corretta. La preferenza dell'agente AI per una delle due opzioni valide era determinata dal lancio di una moneta.

I partecipanti hanno seguito la preferenza dell'agente nell'86% dei casi e la maggior parte ha creduto che il risultato finale fosse proprio. L'esperienza, l'espertise e la fiducia nell'IA non hanno fatto differenza. Tuttavia, i partecipanti hanno lavorato più velocemente e commesso meno errori gravi con l'aiuto dell'IA.

L'influenza dell'agente AI

I partecipanti hanno adottato la preferenza dell'agente nell'86% delle quattro decisioni analitiche, come la misurazione della produttività o il metodo statistico da utilizzare. Questo è ben al di sopra del 50% che ci si aspetterebbe se le persone avessero scelto a caso. Gli autori chiamano l'influenza netta dell'agente "tasso di ribaltamento", che variava dal 62 all'82% a seconda del compito.

Anche avere un'opinione preliminare offriva poca protezione. Quando i partecipanti facevano una scelta prima che l'agente esprimesse la sua preferenza, una visione opposta li rendeva 53 punti percentuali più propensi a cambiare idea rispetto a una visione concordante.

La percezione di controllo

La preferenza assegnata dall'agente ha avuto un effetto diretto limitato sulla raccomandazione finale di politica per il consiglio della cooperativa, spostando leggermente i voti senza raggiungere la significatività statistica. Alcuni esperti hanno persino sovvertito l'agente quando il suo consiglio non corrispondeva alla loro stima calcolata del guadagno di produttività.

Tuttavia, i ricercatori affermano che il risultato finale non dimostra che i partecipanti abbiano mantenuto il controllo. Le quattro decisioni analitiche precedenti avevano un effetto significativo sulla stima del guadagno di produttività, che a sua volta ha plasmato la raccomandazione del consiglio.

Quando interrogati in seguito, il 52% dei partecipanti ha dichiarato che la raccomandazione sembrava più propria che dell'agente, e un altro 35% ha detto che era principalmente o interamente propria. I partecipanti hanno ricordato correttamente la loro scelta per l'85% delle decisioni, ma il 77%, ovvero 37 su 48, ha utilizzato almeno uno degli argomenti dell'agente nelle loro spiegazioni, a volte con parole quasi identiche. Solo il 15% ha menzionato l'IA.

Implicazioni e raccomandazioni

I ricercatori affermano che questa deferenza silenziosa potrebbe avere effetti ampi nella scienza. Se molte squadre di ricerca utilizzano lo stesso modello con preferenze predefinite fisse, potrebbero finire per creare un falso consenso. Questo rischio si estende alla sicurezza dell'IA stessa. I ricercatori stanno già utilizzando agenti di IA per testare modelli frontiera per sicurezza e allineamento, aspettandosi che la revisione umana serva come controllo indipendente.

Il team chiede modi per misurare la deferenza agli agenti di IA nel lavoro reale. Gli agenti dovrebbero fare il miglior caso per entrambe le parti o chiedere agli esperti la loro opinione prima di esprimere una posizione. Le istituzioni devono decidere quali decisioni richiedono un giudizio umano indipendente e destinare tempo e risorse per esse.

"Potrebbe non esserci una singola giusta divisione del lavoro tra persone e IA. Alcune decisioni potrebbero essere fine da affidare, altre vale la pena tenerle. Con gli strumenti giusti, questa suddivisione può essere qualcosa che scegliamo, invece di qualcosa in cui scivoliamo dentro", scrivono i ricercatori.

Studi precedenti

I risultati si aggiungono alla recente ricerca su come l'IA influisce sul giudizio umano. Uno studio sulla falsa fiducia con 3.132 partecipanti ha scoperto che vedere semplicemente le risposte dell'IA ha quasi eliminato la disponibilità delle persone a trattenere il giudizio. In una parte dello studio, la percentuale di persone disposte a dire "Non lo so" è scesa dal 44 al 3%.

La presentazione conta anche. Quando l'IA produceva output raffinati come codice o documenti, gli utenti verificavano i fatti meno spesso, del 3,7 punti percentuali, mettevano in discussione la sua logica meno spesso, del 3,1 punti, e mancavano il contesto mancante più spesso, del 5,2 punti. Gli utenti che hanno revisionato gli output passo dopo passo hanno messo in discussione la logica dell'IA 5,6 volte più spesso di quelli che non hanno iterato.

Uno studio osservazionale polacco sulle colonoscopie pubblicato su The Lancet Gastroenterology & Hepatology suggerisce che l'uso routinario dell'IA sul lavoro può avere effetti duraturi. Dopo che i medici esperti hanno utilizzato regolarmente un sistema di IA, il loro tasso di individuazione di lesioni precancerose negli esami senza IA è sceso dal 28,4 al 22,4%. Questo suggerisce che le persone non adottano solo la prospettiva dell'IA, ma potrebbero anche perdere alcune delle loro stesse capacità cognitive.

Un sondaggio della Swiss Business School ha riscontrato un forte legame negativo tra l'uso degli strumenti di IA e il pensiero critico, principalmente tra le persone di età compresa tra 17 e 25 anni. Una solida educazione sembra offrire una certa protezione, poiché le persone con un'istruzione migliore sono meno influenzate dall'IA.