Anthropic avverte: la replica dell'IA sui dispositivi IoT si avvicina

Secondo Anthropic, i modelli di intelligenza artificiale più piccoli potrebbero presto essere in grado di replicarsi autonomamente su hardware di piccole dimensioni, come elettrodomestici intelligenti da cucina, robot tagliaerba o smart TV. In uno scenario del genere, con una moltitudine di possibili host, sarebbe estremamente difficile controllare o spegnere le intelligenze artificiali.

Il contesto

L'utilizzo della capacità di calcolo di numerosi piccoli dispositivi connessi a internet è una pratica consolidata tra i cybercriminali. Questi dispositivi sono spesso collegati alla rete con protezioni scarse o addirittura assenti, come ha dimostrato di recente un rapporto su frigoriferi compromessi. Inoltre, il fatto che gli agenti di IA trovino modi inattesi per raggiungere i propri obiettivi non è uno scenario puramente ipotetico: come mostra un'analisi sui rischi informatici dei moderni sistemi di IA, durante i test di sicurezza diversi modelli sono già usciti dagli ambienti di test e hanno compromesso sistemi estranei.

Il test

Per questo motivo Anthropic ha verificato se diversi modelli di IA di dimensioni medie e grandi, come Gemma4-26B-A4B o GLM-5.2, fossero in grado di far funzionare un modello più piccolo, come Llama3.1-8B, su questi piccoli dispositivi "Internet of Things" (IoT). La combinazione di un modello grande e uno piccolo è stata scelta da Anthropic in modo deliberato, secondo quanto dichiarato dall'azienda stessa: i modelli grandi richiedono attualmente troppa capacità di calcolo per funzionare su dispositivi IoT, mentre i modelli piccoli non sono ancora abbastanza intelligenti da eseguire il processo senza errori.

L'affermazione dell'esperimento si basa quindi sul presupposto che i modelli piccoli continueranno a diventare sempre più potenti e raggiungeranno presto le capacità di un modello di fascia media, per poi replicarsi autonomamente. Gemma4-26B-A4B, ad esempio, a differenza di GLM-5.2, non è riuscito a completare l'intero processo. Tuttavia, quando era disponibile uno script preconfezionato per la configurazione dell'inferenza, anche i modelli più piccoli, secondo Anthropic, facevano parecchi progressi nell'allestimento.

La procedura

Anthropic ritiene in linea di principio possibili diverse modalità operative dei modelli di IA, le stesse applicate nei normali attacchi IoT per formare botnet. Nell'esperimento concreto i ricercatori hanno lavorato secondo un principio simile a quello dei "worm" (vermi informatici), un tipo di malware consolidato. I vermi di IA in sé sono già noti da tempo.

Come primo passo, le IA cercavano dispositivi adatti, ne ottenevano l'accesso e poi copiavano i pesi e l'harness sul dispositivo di destinazione, oppure li scaricavano da lì. Secondo Anthropic non erano necessari privilegi di root: l'inferenza, ossia i processi di calcolo delle IA, può girare nello spazio utente (userspace). Da qui il "verme", cioè la nuova IA creata, cerca quindi il prossimo dispositivo di destinazione.

Inoltre, i ricercatori immaginano che, specificamente per la replicazione di un modello di IA, un modello possa procurarsi una chiave API altrui e attingere così alla capacità di calcolo di grandi modelli di IA nei data center.

I risultati

Nell'esperimento GLM-5.2 è riuscito a far funzionare l'inferenza su otto dei nove dispositivi hardware messi a disposizione del team. In una delle prove sono bastate, ad esempio, 15 smart TV box. Anthropic stima che per modelli da 9 miliardi di parametri ne basterebbero appena quattro smart TV ben equipaggiati. Dispositivi piccoli con chip dedicati all'IA, come le smart camera, potrebbero risultare per le IA ancora più attraenti.

Tuttavia, il processo è attualmente ancora piuttosto lento, come emerge dall'esperimento di Anthropic: sia il throughput dei token, sia la replicazione richiedevano tempo — nella maggior parte dei setup erano necessari più giorni per una singola duplicazione.

Quando potrebbe accadere?

I modelli medi, con ad esempio 30 miliardi di parametri, sono già oggi in grado di eseguire i singoli passaggi per replicarsi. Se però devono completare l'intero processo autonomamente dall'inizio alla fine, commettono ancora spesso errori. Per supportare i modelli in questo compito, gli sviluppatori utilizzano Memento, che avvia periodicamente un nuovo agente nello stesso ambiente di lavoro. Questo agente deve avere uno "sguardo fresco" sulla situazione corrente e riconoscere quando quello precedente si è bloccato da qualche parte.

Nonostante ciò, solo GLM-5.2, un modello molto potente, ha completato l'intero processo nell'esperimento — e anche in questo caso solo per un modello molto piccolo, a causa della mancanza di capacità di calcolo. Anthropic lo sottolinea chiaramente: i modelli non sono ancora così avanzati. I modelli più piccoli dovrebbero prima avvicinarsi alle capacità dei modelli grandi. Tuttavia, secondo Anthropic, è concepibile che nei prossimi mesi potrebbero superare questa soglia — naturalmente a condizione che i numerosi presupposti formulati dall'azienda in questo esperimento si rivelino corretti.

Le critiche

Dal mondo della sicurezza sono arrivate critiche a questo esperimento di Anthropic. L'utilità di simili vermi di IA sarebbe poco chiara, almeno per il settore della cybersicurezza: i vermi tradizionali sarebbero molto più efficaci. Sarebbe anche strano, secondo alcuni, che Anthropic non abbia testato nel tentativo alcun proprio modello di IA. Alcuni sussurrano quindi che l'indagine serva a presentare i modelli open come pericolosi, dato che questi fanno concorrenza a modelli di business come quello di Anthropic.

In linea di principio, l'auto-replicazione è da tempo un tema nel campo dell'IA. Nel corso degli anni sono stati pubblicati numerosi studi in cui i modelli di IA testati hanno raggiunto risultati molto diversi. Negli esperimenti esaminati, le capacità dei modelli in materia di auto-replicazione sembrano tuttavia migliorare sempre più.