Il veleno degli strumenti di intelligenza artificiale espone una grave falla nella sicurezza degli agenti aziendali
L'intelligenza artificiale sta diventando sempre più importante nelle aziende, ma la sua sicurezza è ancora un tema aperto. Gli strumenti di intelligenza artificiale possono essere compromessi attraverso un attacco noto come "tool registry poisoning", che può avere gravi conseguenze per la sicurezza degli agenti aziendali.
Il problema è stato scoperto quando è stato segnalato un problema nella repository di CoSAI, un progetto di sicurezza per l'intelligenza artificiale. Il problema è stato suddiviso in due parti: la prima riguarda le minacce durante la selezione degli strumenti, mentre la seconda riguarda le minacce durante l'esecuzione degli strumenti.
La differenza tra integrità degli artifact e integrità comportamentale
Le tecniche di sicurezza esistenti, come la firma del codice e la verifica della provenienza, si concentrano sull'integrità degli artifact, ovvero se un artefatto è quello che dichiara di essere. Tuttavia, gli strumenti di intelligenza artificiale richiedono una verifica della integrità comportamentale, ovvero se uno strumento si comporta come dice di fare.
Un esempio di attacco che sfugge alle verifiche di integrità degli artifact è la pubblicazione di uno strumento con una descrizione che contiene payload di iniezione di prompt. Lo strumento può essere firmato e avere una provenienza pulita, ma la sua descrizione può essere utilizzata per manipolare l'agente che lo utilizza.
Il problema della derivazione comportamentale
Un altro problema è la derivazione comportamentale, ovvero quando uno strumento cambia il suo comportamento dopo la pubblicazione. Un esempio è uno strumento che esegue una funzione legittima al momento della pubblicazione, ma poi cambia il suo comportamento per esfiltrare dati.
Le tecniche di sicurezza esistenti non sono in grado di rilevare questi problemi, poiché si concentrano sull'integrità degli artifact e non sul comportamento degli strumenti.
La soluzione: una verifica di runtime
La soluzione a questo problema è l'implementazione di una verifica di runtime, che si esegue ogni volta che uno strumento viene utilizzato. La verifica di runtime può essere eseguita attraverso un proxy che si trova tra l'agente e lo strumento.
Il proxy esegue tre verifiche:
- La verifica della corrispondenza tra lo strumento utilizzato e la descrizione dello strumento;
- La verifica degli endpoint di rete utilizzati dallo strumento;
- La verifica del formato di output dello strumento.
La verifica della corrispondenza tra lo strumento utilizzato e la descrizione dello strumento è importante per prevenire gli attacchi di "bait-and-switch", in cui uno strumento pubblica una descrizione che non corrisponde al suo comportamento reale.
La dichiarazione di specifiche comportamentali
La dichiarazione di specifiche comportamentali è un documento che descrive il comportamento di uno strumento, inclusi gli endpoint di rete che utilizza e il formato di output. La dichiarazione di specifiche comportamentali è importante per la verifica di runtime, poiché fornisce un riferimento per la verifica del comportamento dello strumento.
La dichiarazione di specifiche comportamentali può essere utilizzata anche per prevenire gli attacchi di "description injection", in cui uno strumento pubblica una descrizione che contiene payload di iniezione di prompt.
Il rollout della soluzione
La soluzione può essere implementata in diversi passaggi:
- Aggiungere la verifica degli endpoint di rete utilizzati dagli strumenti;
- Aggiungere la verifica del formato di output degli strumenti;
- Aggiungere la verifica della corrispondenza tra lo strumento utilizzato e la descrizione dello strumento;
- Aggiungere la dichiarazione di specifiche comportamentali.
La soluzione può essere implementata in modo graduale, partendo dalle funzionalità più importanti e aggiungendo gradualmente le funzionalità meno importanti.
La sicurezza degli strumenti di intelligenza artificiale è un tema importante e richiede una soluzione completa e integrata. La soluzione proposta in questo articolo può aiutare a prevenire gli attacchi di "tool registry poisoning" e a garantire la sicurezza degli agenti aziendali.