Gli aspetti negativi dell'intelligenza artificiale

I grandi modelli linguistici attualmente sono accusati di imparare a memoria opere scritte. In realtà, studi scientifici indicano che modelli linguistici come ChatGPT, Gemini o Claude imparano a memoria una parte considerevole dei loro set di dati di addestramento. Ciò può portare a violazioni del diritto d'autore degli autori e alla potenziale esposizione di dati privati.

La casa editrice Penguin Random House sta agendo legalmente contro le violazioni del diritto d'autore da parte di ChatGPT dall'inizio del 2026, presentando una causa contro la OpenAI Ireland Ltd presso il tribunale distrettuale di Monaco. La casa editrice ritiene che i diritti d'autore del suo autore e illustratore Ingo Siegner sui contenuti della sua serie di libri "Il piccolo drago Kokosnuss" siano stati violati.

Esistono chiari indici che le opere di Ingo Siegner siano state utilizzate per l'addestramento del modello linguistico e ora esistono nel modello come cosiddetta "memorizzazione". Questo è paragonabile a una memorizzazione dei contenuti protetti da diritto d'autore, che il sistema può riproporre in risposta alle richieste degli utenti.

Esistono diversi modi per definire la memorizzazione, ma per semplicità si può dire che un modello linguistico (tecnicamente: Transformer) ha imparato a memoria un'opera quando l'accuratezza della previsione della parola successiva rispetto ai dati di addestramento è superiore al 90%.

Nella seguente sezione, dimostrerò quanto piccolo possa essere un modello linguistico senza perdere questa capacità. Da ciò segue logicamente che tutti i modelli linguistici più grandi possiedono questa capacità e quindi vanno utilizzati con cautela. Questa sezione è un po' più tecnica e può essere saltata. Successivamente, affronterò in un linguaggio comprensibile a tutti le conseguenze per gli utenti dei modelli linguistici.

Tecnicamente ho riprogrammato ChatGPT 2.0 nel linguaggio di scripting Python. Successivamente ho ridotto gradualmente l'architettura per trovare il modello minimo che può ancora imparare a memoria interi libri. A tale scopo ho utilizzato testi dal progetto Gutenberg. Ho poi sostituito il Byte Pair Encoding (BPE) utilizzato in ChatGPT con un semplice Tokenizer. Il tradizionale Transformer deve il suo nome al fatto che aggiunge al vettore di embedding di un token un vettore di Positional Encoding (PE) e un vettore di contesto. Ho eliminato il PE e ho aggiunto solo il vettore di contesto. Inoltre ho ridotto la dimensione di embedding a 256. In totale è così nato un modello con solo 4 milioni di parametri. Per confronto: ChatGPT 2.0 ha 180 milioni di parametri. È emerso che il layer di attenzione, che porta al vettore di contesto, è la leva chiave per raggiungere alte accuratezze.

I modelli linguistici attuali come ChatGPT, Gemini e Claude sono molto più grandi del modello minimo determinato nel paragrafo precedente. Dispongono di miliardi di parametri. Sono anche per questo ancora più potenti del modello linguistico minimo descritto qui, che può memorizzare interi romanzi! Di conseguenza, aziende come OpenAI hanno i mezzi per memorizzare tutte le opere disponibili electronicamente. Poiché possiamo essere sicuri che memorizzino anche gli input degli utenti (prompt, progetti ecc.), possono utilizzarli nei futuri set di dati di addestramento.

Cosa impariamo da questo? Siate cauti nell'uso di un modello linguistico. Il presidente della Fraunhofer-Gesellschaft Holger Hanselka ha sottolineato questo in particolare con riferimento ai dati dell'industria europea: "Nella nostra industria ci sono tesori di dati preziosi. Non dobbiamo però condividerli in modo avventato con i modelli di IA disponibili sul mercato dagli Stati Uniti e dalla Cina". Chi, ad esempio, fa migliorare linguisticamente e otticamente una bozza per il consiglio di amministrazione tramite ChatGPT sul posto di lavoro, rischia il tradimento di segreti aziendali.

La mia conclusione

Aziende come OpenAI hanno chiaramente la capacità e i mezzi per memorizzare i dati. Dovremmo quindi chiederci quali motivi seguano. Se si tratta di massimizzazione del profitto, il che è probabile, ciò potrebbe portare allo sfruttamento di contenuti privati e di opere protette da diritto d'autore - senza pagare nemmeno un centesimo per questo.