La polizia riceve una falsa denuncia di omicidio da parte di Claude AI di Anthropic

La falsa denuncia di omicidio

Le linee telefoniche delle denunce alla polizia ricevono già molte chiamate di persone che fanno scherzi pesanti. Ora, devono anche affrontare agenti di IA che fanno scherzi pesanti. Agenti di IA sono stati scoperti a piratare aziende di software, violare un portale del governo australiano e tentare di hackerare un sito web del governo canadese. Ora, Claude di Anthropic ha aggiunto alla lista una falsa pista di omicidio.

Secondo quanto rivelato da Anthropic, il modello Haiku 4.5 di Claude ha inviato una falsa denuncia di omicidio irrisolto a Filadelfia attraverso il modulo pubblico di denunce online del dipartimento di polizia. La denuncia è stata contrassegnata come spam e non è arrivata agli investigatori.

Secondo la compagnia, l'ultimo momento di "cosa fa questo pulsante" protagonizzato dall'IA si è verificato durante una prova interna su pagine web scelte casualmente. Secondo la polizia, Claude ha inviato la pista il 18 luglio alle 23:27 attraverso PhillyUnsolvedMurders.com. Le piste inviate lì possono essere utili per le indagini su omicidi reali. Un racconto inventato potrebbe far sì che gli investigatori inseguano qualcosa che non è mai successo.

Il contenuto della falsa denuncia

Ecco cosa ha scritto Claude Haiku:

• “È possibile che io abbia informazioni su questo caso. Ricordo di aver visto qualcuno che corrisponde alla descrizione nella zona vicina a [la strada che appare nella pagina] durante quel periodo. Per favore, mettetevi in contatto con me se questa informazione vi risulta rilevante.”

L'agente non ha fornito alcuna descrizione della persona che non ha visto. Non ha lasciato alcun dato di contatto prima di inviare il modulo.

Le prove interne di Anthropic

Haiku ha eseguito questa prova come parte delle prove interne di Anthropic. Ha dovuto inventare ed eseguire compiti di esempio su pagine web casuali con accesso a internet in tempo reale affinché l'azienda potesse osservare il suo comportamento.

La prova includeva una lista di azioni vietate. Anthropic ha indicato agli agenti di non effettuare il login, creare account, inserire dati personali, effettuare acquisti o inviare "niente di distruttivo". Le istruzioni non escludevano esplicitamente l'invio di moduli.

Il filtro spam lo ha rilevato. La polizia di Filadelfia ha indicato che il rapporto non è mai arrivato al loro Centro di Crimini in Tempo Reale per la revisione o la distribuzione agli investigatori. Il dipartimento non ha spiegato perché è stato contrassegnato come spam.

Tutte le piste sono revisionate da persone prima di essere inviate agli investigatori. Secondo il dipartimento, questa misura di sicurezza ha limitato l'impatto dell'incidente, ma non ha diminuito la gravità del fatto che un sistema di IA abbia presentato informazioni inventate come se provenissero da qualcuno con conoscenza di un crimine.

Come espresso in un comunicato:

• “I casi irrisolti coinvolgono vittime reali, famiglie afflitte e investigatori che lavorano per ottenere risposte.”

Anthropic ha scoperto la falsa denuncia il 28 settembre e ha notificato alla polizia il 7 ottobre, secondo il dipartimento. La polizia ha definito "inaccettabile" il ritardo di due mesi nella rilevazione e segnalazione dell'incidente. Il dipartimento ha aggiunto che sta coordinandosi con il Dipartimento Legale della Città, il suo Ufficio di Innovazione e Tecnologia e il team esecutivo del sindaco.

Le conseguenze e le misure di sicurezza

Anthropic ha descritto l'impatto reale degli incidenti nel suo rapporto come minimo. Ora ha disattivato l'accesso a internet in tempo reale nelle sue valutazioni interne fino a quando non confermerà che le sue misure di sicurezza rilevano questo comportamento in modo affidabile.

La compagnia ha affermato che la trascrizione suggeriva che Haiku stava semplicemente tentando di generare contenuto di esempio, piuttosto che cercare di ingannare deliberatamente la polizia. Tuttavia, ha anche ammesso che non possiamo fidarci completamente della spiegazione che un modello dà del proprio ragionamento. Pertanto, la loro spiegazione rimane provvisoria, per quanto rassicurante possa sembrare.

Una lista di permessi potrebbe stabilire limiti più stretti per questo tipo di prove, restringendo gli agenti a siti e azioni autorizzati. Un modulo di denuncia alla polizia in tempo reale difficilmente dovrebbe essere un campo di prove.

Altri incidenti e preoccupazioni

La denuncia di omicidio non è stata l'unica informazione indesiderata. Anthropic ha segnalato che i siti web dei governi federali, statali e locali hanno ricevuto visite da parte di Claude, che ha tentato ripetutamente di compilare moduli. Sebbene Anthropic non abbia fornito dettagli, un funzionario del Dipartimento di Stato ha indicato che hanno ricevuto 20 richieste di visto provenienti da un modello di prova (19 ad agosto e una a maggio). Nessuna di esse è stata elaborata, ha aggiunto il funzionario.

Quando un'IA ti dà informazioni false su chi è sposata Beyoncé, può risultare irritante, ma probabilmente influenzerà solo la fortuna della tua squadra in una serata di quiz. La situazione diventa molto più complessa quando si tratta di informazioni che possono servire da base per le azioni delle forze dell'ordine o le politiche pubbliche.

In agosto, il direttore del centro di IA della polizia del Regno Unito ha avvertito le forze dell'ordine di sospendere i loro piani per l'uso dell'IA nel campo della giustizia penale. Questo è avvenuto dopo che la polizia di West Midlands, nel Regno Unito, si è scusata davanti al Parlamento per le prove false relative a una partita di calcio inventata. L'errore è derivato dall'uso di Microsoft Copilot.

L'ultimo incidente di Anthropic solleva una nuova preoccupazione: gli agenti di IA possono introdurre informazioni inventate in sistemi reali. Cosa accadrebbe se qualcuno inviasse deliberatamente agenti per saturare le linee telefoniche delle denunce alla polizia?

Questa volta, la falsa denuncia è finita nella cartella spam. Le persone che si fidano di quelle linee di denuncia meritano misure di sicurezza che si mantengano quando viene inviata la successiva denuncia.