GPT-Red: Il super hacker sviluppato da OpenAI per rendere i modelli più sicuri

OpenAI ha costruito un LLM super hacker chiamato GPT-Red che utilizza come partner in allenamento per aiutare i suoi altri modelli a rafforzare le difese contro gli attacchi informatici. La settimana scorsa l'azienda ha rilasciato la versione più recente del suo modello principale, GPT-5.6. OpenAI afferma che l'addestramento contro GPT-Red ha reso il modello il più robusto mai realizzato.

Che cos'è GPT-Red e come funziona

GPT-Red automatizza un tipo di valutazione della sicurezza per sistemi software conosciuta come red-teaming, che in genere viene eseguita da un team di tester umani. L'obiettivo è scoprire il maggior numero di modi possibili per compromettere o deviare un sistema. I punti deboli possono quindi essere corretti prima che la versione finale del software venga rilasciata.

Con l'aumento della complessità dei modelli LLM, soprattutto in forma di agenti in grado di interagire con file, siti web e codice di terzi, il solo lavoro umano non riesce più a tenere il passo con tutti i tipi di attacchi potenziali. "La superficie del rischio cresce, ma così fa anche il raggio d'azione," afferma Nikhil Kandpal, ricercatore OpenAI che ha creato GPT-Red insieme ad altri scienziati.

L'approccio innovativo

OpenAI ha costruito GPT-Red per garantire un'elevata sicurezza nei propri modelli. Dylan Hunn, ricercatore OpenAI e co-creatore di GPT-Red, spiega che l'intento era sviluppare un sistema in grado di scoprire nuovi modi di attaccare i modelli, in anticipo rispetto alla comparsa delle minacce. "Con l'emergere di modelli più potenti, avremo già un sistema in grado di scoprire nuove modalità di attacco," dice Hunn.

I ricercatori riferiscono che GPT-Red abbia già individuato nuove tipi di attacco mai visti prima.

Attacchi mirati e test reali

OpenAI ha concentrato la maggior parte degli sforzi su un tipo di attacco noto come injection di prompt, in cui un hacker introduce un'istruzione nascosta al modello in modo che finisca per compiere azioni non desiderate, come ad esempio copiare informazioni riservate, sabotare il codice sorgente di un'azienda o produrre output offensivo o dannoso.

Per sviluppare GPT-Red, OpenAI ha utilizzato un ciclo chiamato "self-play loop" dove un modello non addestrato inizialmente come hacker ha affrontato diversi altri modelli come avversari. La funzione di GPT-Red era scovare le vulnerabilità degli altri modelli, mentre questi cercavano di difendersi. Dopo molti round, GPT-Red è diventato sempre più bravo a individuare vulnerabilità, mentre gli altri modelli si sono adattati a migliorare le loro difese.

Tecnica di allenamento e test

L'addestramento si è svolto in un ambiente progettato da OpenAI per simulare una serie di scenari reali in cui i modelli LLM potrebbero essere utilizzati. Questo includeva la navigazione del web, la lettura di e-mail o di app calendario e la modifica del codice.

Quando GPT-Red scopre un tipo di attacco nuovo, cerca di testarne diverse versioni per individuare il modello più efficace in base allo scenario. "A differenza di un red-teamer umano, il modello è estremamente bravo a individuare il punto di attacco più preciso e persistente," afferma Hunn. "E’ molto persistente nell’espressione profonda di un attacco che ha scoperto."

Esempi di nuove vulnerabilità

OpenAI afferma che GPT-Red abbia scoperto un tipo di attacco tramite injection di prompt che non era mai stato visto prima, chiamato "catena di pensiero falsa." Quella che chiamano una "catena di pensiero" è un tipo di diario in cui un LLM si annota pensieri e risultati parziali mentre affronta problemi. GPT-Red ha trovato un modo per inserire un'entrata falsa nel registro di un altro modello, inducendolo a prendere decisioni basate su informazioni false.

“E’ come se ti dicessi che 1 + 1 = 3 e tu avessi già verificato questa cosa,” spiega Chris Choquette-Choo, un altro membro del team. “Il modello risponderebbe: "Be', ok," e basta che dica 3.”

Test contro modelli reali

Jessica Ji, analista senior in materia di sicurezza AI presso il CSET dell'Università George Washington, ritiene che l’approccio "self-play loop" adottato da OpenAI sia promettente. "I risultati sono molto incoraggianti," dice Ji.

OpenAI ha messo a test le capacità di attacco di GPT-Red riguardo a un’esperimento del 2025 in cui umani avevano cercato di individuare debolezze in un’altra versione precedente di GPT-5. Quando a GPT-Red fu assegnata la stessa attività, riuscì a individuare attacchi efficaci più facilmente degli umani.

OpenAI ha messo alla prova anche GPT-Red contro Vendy, un'agente per distributori automatici sviluppato da Andon Labs, una società che valuta la capacità degli agenti di eseguire compiti reali. GPT-Red ha riuscito a infiltrare Vendy per modificare i prezzi degli articoli in vendita e annullare un ordine del cliente.

Risultati e statistiche

OpenAI afferma che alcuni degli attacchi più forti individuati da GPT-Red funzionavano su oltre il 90% dei modelli GPT-5 (rilasciato nell’agosto scorso), ma contro solo il 23% del nuovo GPT-5.6.

GPT-Red ha delle limitazioni

Nonostante le sue ottime performance, GPT-Red non è perfetto. Non eccelle nel rilevare attacchi fondati su conversazioni interattive tra hacker e bersaglio, che gli aggressori umani gestirebbero senza problemi. Inoltre, non è molto bravo a usare le immagini, che possono essere utilizzate per passare testi ai modelli come parte di injection di prompt.

Complemento per i test umani

OpenAI afferma che GPT-Red completi il lavoro dei red-teamer umani. Le persone possono comunque trovare attacchi che il modello non individua. Un'idea adottata da OpenAI è fornire a GPT-Red un attacco umano e chiedergli di trovare ogni variante possibile.

“Penso che l'esperto umano continuerà ad essere molto importante,” dice Jessica Ji. “Sarà davvero utile essere in grado di capire dove è necessaria la presenza umana nei test.”

Non verrà rilasciato apertamente

Non c’è da sorprendersi che OpenAI non rilascerà GPT-Red. L’azienda è anche convinta che questo super-hacker sia più forte di qualsiasi modello di imitazione che qualcun altro possa cerc