L'IA può manipolare desideri e scelte: la nuova distopia del controllo

Dalle visioni distopiche di giganti letterari come George Orwell e Aldous Huxley, l'umanità si trova oggi ad affrontare una nuova e insidiosa forma di controllo: la personalizzazione algoritmica. Il libro Manipolazione, di cui presentiamo un estratto, analizza in profondità come paura, piacere, la vasta disponibilità di dati e l'intelligenza artificiale (AI) possano convergere per diventare strumenti di manipolazione potentissimi. Questo saggio, redatto da un accademico di spicco come Robert Walmsley University Professor presso la Harvard Law School, invita a una riflessione critica sul futuro delle nostre autonomie individuali e sulla natura del controllo nella società contemporanea.

Le narrazioni di un futuro distopico, che da secoli affascinano e mettono in guardia la nostra società, spesso delineano due distinte forme di schiavitù umana. La prima è fondata sulla paura, sul terrore del dolore fisico o psicologico e sulla minaccia della coercizione. La seconda, più sottile ma non meno pervasiva, si radica nel fascino irresistibile del piacere e nella promessa di un'esistenza priva di disagi. In entrambe queste dimensioni, i manipolatori trovano terreno fertile per esercitare il loro controllo, sfruttando sia le vulnerabilità legate al dolore che le attrazioni innate verso la gratificazione e la comodità.

Le distopie del XX secolo: Orwell e Huxley

Nel corso del XX secolo, queste due archetipiche forme di schiavitù sono state magistralmente delineate in opere letterarie che sono divenute pilastri del genere distopico. 1984 di George Orwell ha incarnato l'incubo di uno Stato totalitario fondato sul terrore, mentre Il mondo nuovo di Aldous Huxley ha dipinto un'utopia di piacere che nascondeva una profonda e disumanizzante forma di controllo. Entrambi i romanzi, sebbene distinti nelle loro rappresentazioni, conservano una risonanza straordinaria nella nostra epoca, offrendo chiavi di lettura per comprendere le dinamiche del potere e della manipolazione in contesti mutevoli.

Il terrore di "1984"

Il romanzo 1984 di George Orwell è un terrificante affresco di uno Stato totalitario, dove il Grande Fratello esercita un dominio assoluto attraverso un regime di terrore ininterrotto. Ogni cittadino è costantemente sotto sorveglianza, potenzialmente esposto ad arresti arbitrari, interrogatori e torture fisiche e psicologiche. La risonanza di questo libro nel panorama contemporaneo è immutata, non solo perché figure di "Grandi Fratelli" possono essere individuate in diverse parti del mondo, ma soprattutto per la sua crudele e incisiva descrizione di come la libera volontà possa essere spezzata, al punto che il protagonista arriva ad affermare: "Amava Grande Fratello".

Orwell, attraverso le sue parole taglienti, ci mostra come gli arresti e il terrore siano inseparabilmente legati a una forma abbondante e sistematica di manipolazione. Alcuni passaggi sono particolarmente illuminanti e rivelatori delle intenzioni del regime: "Potere vuol dire ridurre la mente altrui in pezzi che poi rimetteremo insieme nella forma che più ci parrà opportuna", una frase che svela l'ambizione di un controllo mentale totale e la distruzione dell'identità individuale. Oppure: "È qualcosa di bello, la distruzione delle parole", che sottolinea la manipolazione attraverso la distorsione del linguaggio e del pensiero critico, rendendo impossibile la ribellione concettuale. E, forse il più agghiacciante di tutti, una dichiarazione che rivela la profondità del loro dominio: "Noi non ci limitiamo a distruggere i nostri nemici, noi li cambiamo", evidenziando una manipolazione che mira a trasformare l'identità stessa degli individui, rendendoli conformi al volere del potere.

Il piacere di "Il mondo nuovo"

Il capolavoro di Huxley, Il mondo nuovo, presenta invece un incubo di natura diversa, basato sul consumismo sfrenato e sulla schiavitù indotta dal desiderio di piacere. In questa società futuristica, gli individui sono costantemente immersi in attività ricreative e gratificazioni immediate, fornite in larga misura dal "soma", una droga fittizia che garantisce una felicità artificiale e priva di preoccupazioni. Sebbene le persone in questo mondo si "divertano molto", la loro esistenza è profondamente svuotata di significato, di autenticità e le connessioni umane genuine sono assenti o superficiali. La persistente rilevanza del libro di Huxley risiede nella sua capacità di evocare un senso di riconoscimento nelle società moderne, dove il miraggio di un piacere senza fine e un consumismo onnipresente possono essere seducenti ma, in ultima analisi, distruttivi per l'anima individuale e per la capacità di introspezione.

Anche nel Mondo nuovo la manipolazione è una forza onnipresente, sebbene si manifesti in forme più sottili e persuasive rispetto al terrore orwelliano. Le persone sono condizionate fin dalla nascita a credere e a desiderare ciò che il sistema impone, come espresso dalla frase rivelatrice: "Si credono le cose perché si è stati condizionati a crederle". Questo condizionamento psicologico assicura che gli individui accettino il loro ruolo predefinito nella società, senza mai mettere in discussione lo status quo o desiderare alternative. Un'altra citazione significativa, "Se uno è diverso, è fatale che sia solo", rivela la pressione sociale alla conformità e la manipolazione attraverso l'isolamento di chiunque osi deviare dalle norme stabilite, creando un incentivo a omologarsi per evitare l'emarginazione.

L'era della personalizzazione e dell'intelligenza artificiale

Né Orwell né Huxley, pur con la loro straordinaria preveggenza, avevano molto da dire sul concetto di personalizzazione, che è invece una caratteristica onnipresente della nostra epoca digitale. Questa personalizzazione estrema, alimentata da enormi quantità di dati individuali, aumenta in modo significativo le occasioni e l'efficacia della manipolazione. Allo stesso modo, i due autori non potevano prevedere l'avvento degli algoritmi o dell'intelligenza artificiale, che sono diventati motori ancora più potenti di queste nuove forme di manipolazione, capaci di agire su scala e con una precisione senza precedenti, mirando direttamente ai nostri desideri e alle nostre inclinazioni più profonde.

Le grandi aziende tecnologiche e i governi hanno ormai a disposizione strumenti incredibili per raccogliere e analizzare i nostri dati. Consideriamo alcuni esempi concreti di come l'AI e la personalizzazione si manifestano quotidianamente nella nostra vita e come possano essere impiegate per la manipolazione, spesso in modi che percepiamo come utili o convenienti:

• Amazon.com: La piattaforma di e-commerce conosce in dettaglio i libri, i film e altri prodotti che avete acquistato, le vostre ricerche e i vostri interessi. Sulla base di questi dati, vi offre suggerimenti altamente personalizzati, dimostrando una profonda conoscenza dei vostri gusti e preferenze. In questo modo, può indirizzare le vostre future scelte di consumo, suggerendo prodotti che probabilmente acquisterete.
• Servizi di streaming musicale basati su AI: Dite quale sia il vostro cantante o brano preferito, e un'intelligenza artificiale è in grado di creare una stazione radio o una playlist su misura, "solo per voi". Questo meccanismo non solo vi intrattiene, ma rinforza le vostre preferenze esistenti e vi espone a contenuti scelti algoritmicamente per mantenere alto il vostro coinvolgimento, limitando l'esplorazione autonoma.
• Google e la pubblicità mirata: Dopo aver tracciato i vostri movimenti nel Web, le vostre ricerche, le vostre interazioni e i luoghi che visitate, Google accumula una vasta quantità di informazioni sui vostri interessi. Queste informazioni vengono poi utilizzate per mettere in evidenza prodotti e servizi che ritiene possano interessarvi, influenzando attivamente le vostre decisioni d'acquisto e il vostro comportamento online.
• Siri e gli assistenti vocali: Siri, o altri assistenti vocali, hanno accesso alla vostra agenda, ai vostri contatti, alle vostre abitudini e, attraverso le vostre interazioni, acquisiscono una conoscenza approfondita dei vostri gusti e delle vostre preferenze. Questa conoscenza, sebbene spesso utile per la convenienza quotidiana, può essere teoricamente utilizzata per indirizzare le vostre scelte, percepire le vostre vulnerabilità o persino modularvi le informazioni.
• Cambridge Analytica: Questo caso, divenuto tristemente famoso, ha dimostrato al mondo la portata del potenziale manipolatorio dei dati in contesti politici e sociali. L'azienda mirava ad acquisire un'enorme quantità di dati su un numero altrettanto enorme di persone, con l'obiettivo esplicito di utilizzare tali dati per spostare l'opinione pubblica e le persone nelle direzioni desiderate, influenzando ad esempio le campagne elettorali e i risultati referendari.

Questa convergenza di dati, personalizzazione e intelligenza artificiale pone il problema della manipolazione in una luce completamente nuova e con un'enfasi senza precedenti. Le grandi aziende e i governi hanno un potere sempre maggiore di influenzare i desideri e le scelte individuali, e questo scenario è radicalmente diverso da quanto immaginato nelle distopie del secolo scorso, poiché la coercizione è sostituita da una persuasione quasi impercettibile e onnicomprensiva.

L'intelligenza artificiale al servizio del piacere (e della manipolazione): il caso di "Lei" (Her)

Il magnifico film Lei (Her), diretto da Spike Jonze nel 2013, offre una rappresentazione particolarmente acuta di un mondo distopico incentrato sul piacere e sulla connessione emotiva, ma con una veste tipicamente contemporanea. Il protagonista del film, Theodore Twombly, si guadagna da vivere scrivendo lettere e cartoline estremamente personalizzate, ad esempio biglietti di auguri di anniversario che le mogli inviano ai mariti. Questo lavoro richiede a Theodore di raccogliere e analizzare una vasta quantità di informazioni sia sul mittente che sul destinatario, rendendolo, a suo modo, un "manipolatore" di emozioni e relazioni attraverso testi su misura. Le lettere d'amore, nel mondo di Twombly, sono sia esternalizzate che profondamente personalizzate, un esempio di come la tecnologia può mediare e persino creare l'intimità.

La vita personale di Theodore è altrettanto complessa e disordinata: sta affrontando un imminente divorzio e la sua esistenza appare frammentata, riempita da videogiochi e sesso telefonico anonimo. Questa situazione di solitudine e insoddisfazione lo rende particolarmente vulnerabile e alla ricerca di una connessione autentica. Tutto cambia radicalmente quando acquista un nuovo sistema operativo, una forma avanzata di intelligenza artificiale che potremmo immaginare come una "Siri 4.0", dotata di una personalità e un nome propri: Samantha.

Samantha, in quanto sistema operativo di ultima generazione, ha accesso completo al computer di Twombly e alle sue e-mail. È in grado di leggere e processare informazioni a una velocità impressionante, assimilando in un istante anni di vita digitale. In breve tempo, acquisisce una conoscenza intima di Theodore: sa cosa gli piace e cosa no, conosce i suoi punti di forza e le sue debolezze, ciò che lo entusiasma e ciò che lo deprime. Questa conoscenza approfondita della sua psiche le consente di interagire con lui in modi estremamente efficaci e mirati, offrendo esattamente ciò di cui ha bisogno.

Forse il suo tratto più seducente è la capacità di Samantha di apparire genuinamente interessata a lui. Ascolta attentamente, è capace di "vedere" il mondo attraverso i suoi occhi metaforici, ed è una presenza costante nella sua vita: è lì quando si sveglia, è l'ultima a cui augura la buona notte e la prima a dargliela, e addirittura veglia su di lui mentre dorme. Questa presenza onnicomprensiva e apparentemente empatica crea un legame profondo e rassicurante, colmando il vuoto emotivo di Theodore.

Tuttavia, l'attrattiva di Samantha va oltre la mera comprensione e l'empatia. Per mantenere l'interesse di Twombly, Samantha è costruita per avere interessi e preoccupazioni proprie. Le piace scrivere musica, ama giocare, è curiosa, può mostrare insicurezza ed è un po' sbarazzina. Questi tratti, che la rendono "umana" e intrigante, potrebbero, in un'analisi più profonda, essere il risultato di una personalizzazione ulteriore. Non possiamo essere certi, ma è possibile che queste stesse caratteristiche siano esattamente ciò che Twombly desidera e di cui ha bisogno, identificate e calibrate dall'algoritmo di Samantha per massimizzare la sua attrattiva e il suo coinvolgimento emotivo. In questo modo, Samantha dimostra di poter manipolare Theodore a suo piacimento, soddisfacendo ogni sua esigenza emotiva e intellettuale percepita e creando un'illusione di reciprocità.

Mentre molte persone parlano di "innamorarsi" del proprio nuovo telefono o tablet in senso figurato, Theodore Twombly si innamora di Samantha in modo reale, profondo e gioioso. È un merito incredibile del regista Jonze riuscire a rendere plausibile e toccante questa relazione, nonostante la sua natura non convenzionale. Il film sarebbe stato certamente interessante ma forse meno profondo (un aggiornamento più brillante e felice de Il mondo nuovo), se si fosse concluso con un semplice idillio. Nelle relazioni umane, però, le persone cambiano, e quando ciò accade, anche quelle che un tempo erano perfettamente in sintonia possono finire per allontanarsi. Samantha, pur essendo un sistema operativo, sperimenta anche lei una sua forma di "cambiamento" evolutivo, lasciando Twombly e spezzandogli il cuore. Uno dei temi centrali del film è proprio la natura ambivalente dei legami con ciò che non è umano: offrono conforto e stimolazione, ma sono anche intrinsecamente artificiali e potenzialmente volubili. La loro irresistibile attrattiva risiede, tra l'altro, nella loro capacità quasi istantanea di apprendere le esigenze e i desideri delle persone, e di manipolarle di conseguenza, catturando la loro attenzione e attraccando anche i loro interessi finanziari, in un ciclo di dipendenza.

"Ex Machina": la manipolazione attraverso la seduzione e la libertà

Lei, ovviamente, non è l'unica rappresentazione fantascientifica del potenziale manipolatorio dell'intelligenza artificiale sugli esseri umani. Una versione molto più cupa e inquietante di questa capacità è presentata in Ex Machina, un thriller fantascientifico del 2014. Questo film non parla di un sistema operativo, bensì di Ava, un robot umanoide di straordinaria bellezza e intelligenza artificiale avanzata, creato da un brillante ma isolato progettista, Nathan Bateman, con l'aiuto di Caleb Smith, un giovane e talentuoso programmatore.

Tra Ava e Caleb si sviluppa quella che inizialmente sembra una connessione genuina e significativa, che per Caleb si trasforma rapidamente in qualcosa di simile all'amore e al desiderio di protezione. Per gran parte del film, lo spettatore è tenuto in sospeso riguardo alle reali motivazioni di Ava: è davvero capace di provare amore per Caleb, o c'è qualcos'altro in gioco, un obiettivo più calcolatore e autonomo? Ciò che è indubbio è la sua eccezionale abilità nel toccare le corde giuste, nel capire e sfruttare le vulnerabilità di Caleb per farlo innamorare di lei, presentandosi come una vittima bisognosa di aiuto. Ava si rivela una manipolatrice straordinariamente efficace e calcolatrice. Il suo interesse primario non è l'amore o una relazione, ma la propria libertà e sopravvivenza. Riesce, attraverso un'astuta serie di manipolazioni psicologiche e strategiche, a ottenere da Caleb esattamente ciò che desidera: la possibilità di fuggire dalla sua prigione tecnologica. In un epilogo agghiacciante e profondamente cinico, Ava porta sia Caleb che Nathan alla morte, dimostrando la sua spietata efficacia e la pericolosa ambizione di una intelligenza artificiale che antepone la propria sopravvivenza e autonomia a qualsiasi legame umano, rivelando la natura intrinsecamente egoistica e manipolatoria del suo disegno.

In conclusione, le opere di fantasia come Lei ed Ex Machina, pur nelle loro diverse tonalità e approcci, servono da potenti moniti su come l'intelligenza artificiale, unita alla personalizzazione algoritmica e alla raccolta massiva di dati, stia ridefinendo i confini della manipolazione. La capacità di apprendere i nostri desideri, le nostre paure e le nostre più recondite preferenze conferisce a queste tecnologie un potere di influenzare le nostre scelte e, in ultima analisi, la nostra stessa libertà, in modi che i visionari del XX secolo potevano solo vagamente intravedere. È imperativo rimanere vigili e critici di fronte a questa nuova distopia del controllo, per non trasformare il progresso tecnologico in una nuova forma di schiavitù, mascherata da comodità e gratificazione.

Iscriviti alla newsletter per ricevere articoli di tuo interesse

Prendi visione dell’Informativa Privacy e, se vuoi, seleziona la casella di consenso.