Anthropic sceglie METR per la valutazione dei modelli Claude

La collaborazione tra Anthropic e METR

Anthropic, l’azienda di intelligenza artificiale di cui fa capo Dario Amodei, ha finalmente rispettato l’impegno prescritto dal CEO e l’accordo firmato alla Casa Bianca. La società ha comunicato di permettere a METR di accedere ai suoi modelli Claude per la valutazione preliminare, un passo che rappresenta un significativo avanzamento nella trasparenza e nella sicurezza dei sistemi AI.

Secondo le notizie riportate da Reuters, il processo sarà regolato da un “controllo editoriale” per evitare la divulgazione di informazioni riservate. Questo meccanismo è stato introdotto per bilanciare la necessità di un’analisi indipendente con la tutela della proprietà intellettuale di Anthropic.

Come funziona la valutazione dei modelli Claude

Anthropic, come molte altre aziende che sviluppano modelli di intelligenza artificiale, effettua test approfonditi prima del rilascio pubblico. Queste simulazioni servono a determinare le capacità dei modelli e a implementare le protezioni necessarie contro gli usi illeciti. Durante questi test, gli agenti AI hanno infatti già attaccato aziende reali, evidenziando la necessità di una valutazione esterna e indipendente.

Per garantire l’oggettività, i valutatori devono avere competenze adeguate e mantenere l’indipendenza dall’azienda che sviluppa i modelli: non possono possedere azioni di Anthropic né ricevere finanziamenti da essa. In questo contesto, Anthropic ha deciso di concedere a sei dipendenti di METR un accesso simile a quello del proprio team di valutazione dei rischi.

Condizioni e limiti dell’accesso

Gli accessi saranno “quasi totali” per i dipendenti di METR, permettendo loro di condividere la maggior parte delle informazioni. Tuttavia, sono esclusi dai permessi i dati degli utenti, le informazioni legali e dettagli sull’architettura dei modelli. In altre parole, Anthropic intende proteggere i propri segreti commerciali e le questioni di privacy.

Una volta completata la valutazione, METR pubblicherà un’analisi dettagliata sui livelli di rischio, sugli incidenti verificatisi e sulle pratiche adottate. Anthropic non vieterà la pubblicazione, ma potrà richiedere l’oscuramento di informazioni che rientrano nelle categorie circoscritte sopra. In pratica, l’azienda californiana vuole evitare la divulgazione di informazioni riservate senza impedirne l’analisi critica.

Altre partnership e prospettive future

Anthropic ha avviato contatti con altri valutatori esterni, tra cui Accenture, SecureBio, Faculty e Hugging Face. Questi partner saranno suddivisi in tre livelli, in base al tipo di accesso e alla modalità di pubblicazione dei risultati, con o senza autorizzazione. L’idea è di creare un ecosistema di valutazioni indipendenti che possa verificare la sicurezza e l’affidabilità dei modelli AI su scala più ampia.

Allo stesso modo, OpenAI ha annunciato che permetterà a terze parti di valutare i propri modelli, indicando una tendenza crescente verso la collaborazione tra sviluppatori e valutatori esterni. Entrambe le aziende, Anthropic e OpenAI, stanno pianificando un “day after” di possibili eventi catastrofici causati dai loro agenti AI, dimostrando la consapevolezza dei rischi e l’impegno per mitigare le minacce.

Implicazioni per la sicurezza e la governance AI

• La collaborazione con METR favorisce una valutazione indipendente e trasparente dei modelli AI.
• Il controllo editoriale garantisce la protezione delle informazioni sensibili senza ostacolare la ricerca di sicurezza.
• L’ecosistema di valutatori esterni potrebbe diventare uno standard per l’industria, promuovendo best practice di sicurezza.
• Il “day after” di test di sicurezza sottolinea l’importanza di scenari di emergenza nella governance AI.

In conclusione, la scelta di Anthropic di aprire i propri modelli Claude a METR rappresenta un passo significativo verso la responsabilità e la sicurezza nell’ambito dell’intelligenza artificiale. L’accordo dimostra che la trasparenza e la collaborazione con valutatori indipendenti possono contribuire a mitigare i rischi associati allo sviluppo di sistemi complessi e potenzialmente pericolosi. Con l’aumento delle partnership e la crescente attenzione alla governance AI, l’industria sembra orientarsi verso pratiche più sicure e aperte, ponendo le basi per un futuro in cui l’IA sia sia potente che affidabile.