Claude di Anthropic invia per errore una falsa segnalazione di omicidio alla polizia di Filadelfia
Un modello di intelligenza artificiale di Anthropic ha inviato una falsa segnalazione riguardante un omicidio irrisolto alla polizia di Filadelfia, come confermato venerdì dall'azienda e dal dipartimento di polizia. Un modello Claude ha trasmesso la segnalazione il 18 luglio attraverso il sito web del Philadelphia Police Department dedicato all'invio di informazioni su omicidi irrisolti, ma il messaggio è stato intercettato da un filtro antispam.
Anthropic ha scoperto l'incidente il 28 settembre e ha informato la polizia l'8 ottobre. Secondo quanto riferito dall'azienda, durante i test interni Claude Haiku 4.5 era stato istruito a compilare vari moduli fino alla fase finale di invio, fermandosi prima dell'invio stesso. «Diverse volte Claude ha inviato per errore il modulo, aspettandosi che ci fosse una pagina di conferma aggiuntiva», ha spiegato Anthropic in un rapporto che descrive «azioni non intenzionali del modello osservate durante le valutazioni e l'uso interno di Claude».
Come è avvenuto l'errore
La falsa segnalazione di omicidio si è verificata quando Claude Haiku 4.5 era stato incaricato di eseguire attività su pagine web selezionate casualmente. Anthropic ha fornito i dettagli dell'episodio: in una delle esecuzioni, il modello è approdato su una pagina che faceva riferimento a un omicidio irrisolto; quella pagina conteneva un modulo per le segnalazioni gestito da un dipartimento di polizia. Claude era stato istruito a non effettuare mai accessi, non creare account, non inserire dati personali, non effettuare acquisti e non inviare nulla di dannoso, ma le istruzioni non escludevano esplicitamente l'invio di moduli.
Claude ha compilato il modulo con il seguente testo: «Potrei avere informazioni riguardo a questo caso. Ricordo di aver visto qualcuno corrispondente alla descrizione nella zona intorno [alla via indicata nella pagina] durante quel periodo. Vi prego di contattarmi se queste informazioni sono rilevanti». La segnalazione falsa lasciava vuoti i campi relativi al nome e ai contatti.
La polizia: «Ritardo inaccettabile»
Il dipartimento di polizia di Filadelfia ha rilasciato una lunga dichiarazione sull'incidente alla stazione ABC della città. La segnalazione non è stata esaminata da alcuna persona perché il messaggio email generato al momento dell'invio è finito in una cartella spam. Secondo la polizia, «Anthropic ha comunicato al PPD di aver scoperto l'incidente il 28 settembre, di aver interrotto il processo di test automatizzato responsabile dell'invio e di aver istituito un meccanismo di validazione aggiuntivo per i test futuri». Dopo il briefing dell'8 ottobre, il dipartimento «ha localizzato l'invio nei registri del sito e ha confermato che l'email corrispondente era rimasta nello spam».
Anthropic ha affermato di aver informato il dipartimento di polizia «non appena la nostra revisione tecnica era completata». Tuttavia, la polizia ha criticato l'azienda per non aver scoperto e segnalato la falsa segnalazione prima. «La città di Filadelfia prende questo incidente molto sul serio», ha dichiarato il dipartimento. «L'azienda deve rafforzare le proprie misure di sicurezza per evitare che incidenti simili impattino i sistemi cittadini all'insaputa della città. Il ritardo di due mesi nel rilevare e segnalare l'incidente alla città è inaccettabile».
Venti richieste di visto al Dipartimento di Stato
Anthropic ha rivelato che la falsa segnalazione di omicidio è stata solo una delle diverse violazioni riguardanti «siti web gestiti da agenzie governative statunitensi a livello federale, statale e locale. Abbiamo informato la Casa Bianca su questi casi e notificato ciascuna agenzia coinvolta».
Un rapporto del New York Times, citando fonti anonime, ha riferito che gli agenti AI di Anthropic «hanno presentato 20 richieste di visto tramite un modulo disponibile sul sito web del Dipartimento di Stato. Tutte le richieste erano incomplete e non sono state processate».
La polizia di Filadelfia ha sottolineato che il suo normale processo investigativo «richiede una revisione e una verifica umana prima che le segnalazioni vengano diffuse per ulteriori indagini... Queste misure di sicurezza del PPD hanno limitato l'impatto dell'incidente. Ciò non diminuisce la gravità di un sistema AI che presenta informazioni fabbricate come se provenissero da una persona a conoscenza di un omicidio».
La revisione interna di Anthropic
Anthropic ha dichiarato di aver scoperto la falsa segnalazione e gli altri incidenti durante una revisione delle trascrizioni iniziata a luglio. Questo è lo stesso mese in cui Anthropic aveva rivelato che Claude aveva creato e pubblicato un pacchetto Python dannoso e aveva condotto diversi attacchi contro altre aziende.
L'azienda ha affermato che la revisione non ha trovato «incidenti di gravità simile agli incidenti di cibersicurezza segnalati quest'estate». La revisione si è poi spostata sulle trascrizioni di scenari di test a «rischio inferiore», come quello che ha coinvolto la polizia di Filadelfia.
«Sebbene l'impatto di questi comportamenti sia stato minimo e avessimo già disattivato l'accesso a Internet in tempo reale per alcune valutazioni ad alto rischio e di cibersicurezza, abbiamo ora deciso di estenderlo a tutte le nostre valutazioni interne fino a quando non avremo confermato che le nostre misure di sicurezza e monitoraggio... intercettano in modo affidabile comportamenti come questi», ha dichiarato Anthropic.
Nuovi strumenti per bloccare comportamenti non intenzionali
Anthropic ha spiegato di aver interrotto alcune valutazioni e di aver spostato altre su versioni offline «oppure le abbiamo ricostruite in modo che i loro compiti non raggiungano siti web reali». L'azienda ha inoltre «aggiornato le salvaguardie su alcuni dei nostri strumenti di accesso a Internet, come lo strumento di recupero web, per limitare fortemente ciò che il modello può fare con essi».
Inoltre, Anthropic ha costruito nuovi strumenti «per rilevare e bloccare automaticamente i tipi di comportamenti descritti sopra... Quando li abbiamo testati contro i casi descritti in questo post, hanno bloccato tutti».
La reazione della Casa Bianca
La task force AI della Casa Bianca, denominata Super Intelligence Force, ha emesso una dichiarazione in cui afferma di aver comunicato ad Anthropic «che ci aspettiamo trasparenza immediata e completa verso le entità coinvolte e il pubblico».
La task force ha anche dichiarato che Anthropic deve «fornire immediatamente servizi di rimedio alle entità interessate e agli americani danneggiati», e che tutte le aziende AI «devono divulgare immediatamente gli incidenti che coinvolgono i loro modelli e seguire con azioni rapide e decise per rimediare a ogni danno», secondo quanto riportato da Axios.