Wikidata offre accesso MCP: la più grande banca dati di conoscenza strutturata per LLM

Wikidata, il mastodontico archivio digitale gestito da Wikimedia Deutschland, si appresta a rivoluzionare il panorama dell'intelligenza artificiale generativa. La piattaforma, nota come il più grande grafo di conoscenza aperto del mondo, ha annunciato la disponibilità di un'interfaccia liberamente accessibile che consentirà ai modelli linguistici di grandi dimensioni (LLM) di attingere direttamente al suo vasto repertorio di sapere strutturato. Questa iniziativa, che vede i dati di Wikidata vettorizzati e messi a disposizione in un database vettoriale come *embeddings*, permetterà a sviluppatori e ricercatori di connettere gli LLM attraverso l'utilizzo del Retrieval Augmented Generation (RAG) e del Model Context Protocol (MCP), promettendo un salto di qualità significativo nella produzione di risposte più accurate e verificate.

Wikidata: il gigante del sapere strutturato si apre all'AI

Con circa 119 milioni di voci e mantenuto da una comunità globale di circa 24.000 volontari attivi ogni mese, Wikidata non è solo una banca dati, ma un vero e proprio ecosistema di conoscenza interconnessa. I suoi dati strutturati sono organizzati come grafi e provengono da numerosi progetti Wikimedia, tra cui l'onnipresente Wikipedia, la guida turistica Wikivoyage e la biblioteca digitale Wikisource, solo per citarne alcuni. Questa architettura a grafo consente di rappresentare le relazioni tra le entità in modo preciso e dettagliato, rendendo Wikidata una risorsa inestimabile per qualsiasi sistema che necessiti di comprensione contestuale e inferenza logica.

L'apertura di un accesso diretto a questa mole di informazioni rappresenta un passo cruciale per l'evoluzione degli LLM. Tradizionalmente, gli LLM sono addestrati su enormi dataset testuali, il che li rende capaci di generare testi coerenti ma spesso inclini a "allucinazioni", ovvero la produzione di informazioni errate o inventate. L'integrazione con Wikidata, attraverso l'approccio RAG, permetterà agli LLM di consultare e integrare il loro processo generativo con dati fattuali, attuali e verificati, migliorando drasticamente l'affidabilità delle loro risposte e riducendo il rischio di informazioni false. Wikimedia vede in questa integrazione applicazioni pratiche immediate, come strumenti per il *fact-checking* automatizzato o sistemi avanzati per la lotta al vandalismo online, dimostrando un impegno concreto verso la qualità dell'informazione.

Come funziona l'accesso e la ricerca avanzata

Dal punto di vista tecnico, il progetto ha compiuto un lavoro significativo di trasformazione. I dati di Wikidata sono stati vettorizzati, ovvero convertiti in rappresentazioni numeriche (*embeddings*) che catturano il loro significato semantico. Questi *embeddings* sono poi stati archiviati in un database vettoriale, Astra DB. Tale processo di trasformazione è stato realizzato con il supporto di Jina AI, uno dei due partner che hanno affiancato Wikimedia Deutschland in questo progetto avviato a settembre 2024. Questo approccio consente una ricerca efficiente basata sulla somiglianza semantica, piuttosto che su una semplice corrispondenza di parole chiave.

Wikidata offre un'API specifica per la ricerca all'interno di questo database di *embeddings*. Tuttavia, i gestori raccomandano un approccio più sofisticato che combina la ricerca vettoriale con la potenza del grafo di conoscenza sottostante, un metodo che chiamano GraphRAG. L'idea è di utilizzare la ricerca semantica vettoriale per identificare i set di dati più pertinenti e poi sfruttare il database a grafo per navigare e utilizzare la conoscenza in modo strutturato e logico. Oltre alla ricerca vettoriale, il sistema supporta anche una funzione di ricerca per parole chiave e query descrittive, offrendo un ventaglio di opzioni per identificare con precisione i termini e i concetti desiderati. La combinazione di questi approcci promette di rendere le interrogazioni più efficaci e intuitive per gli sviluppatori.

Un aspetto cruciale di questa implementazione è la possibilità di indicare Wikidata come fonte delle informazioni recuperate. Questo non solo aggiunge un livello di trasparenza fondamentale, ma consente anche agli utenti finali di tracciare l'origine dei risultati delle ricerche, rafforzando la fiducia nell'accuratezza delle risposte generate dagli LLM. Attualmente, il database vettoriale supporta le richieste di ricerca in inglese, francese e arabo. I gestori hanno annunciato l'intenzione di espandere il supporto allo spagnolo e al mandarino entro la fine dell'anno, con l'obiettivo di aggiungere successivamente molte altre lingue, rendendo il progetto veramente globale.

Un contrappeso ai colossi tecnologici e la forza della comunità

Oltre agli indubbi vantaggi tecnici, Wikimedia pone l'accento anche su un importante aspetto sociale di questa iniziativa. La nuova tecnologia mira a fornire agli sviluppatori di tutto il mondo strumenti per creare LLM più trasparenti, affidabili ed equi. Questo si pone come un potenziale contrappeso alle offerte dei grandi colossi tecnologici, che spesso mantengono chiuse le loro architetture e i loro dataset di addestramento. Offrendo un accesso aperto e licenziato sotto la licenza MIT per il codice sorgente, Wikidata promuove un ecosistema di sviluppo AI più decentralizzato e democratico.

La forza di Wikidata risiede nella sua vasta comunità internazionale di volontari. Grazie al loro lavoro instancabile, la banca dati è in grado di rappresentare temi e prospettive che potrebbero essere sottorappresentati nelle fonti di dati commerciali. Questo aspetto è fondamentale per la creazione di una base di dati più diversificata e inclusiva per lo sviluppo dell'AI generativa. Un'AI addestrata su dati più equilibrati e rappresentativi ha maggiori probabilità di produrre risultati meno distorti e più equitativi, evitando di perpetuare pregiudizi esistenti.

Opportunità di approfondimento e partecipazione

Per coloro che sono interessati ad approfondire gli aspetti pratici e le potenziali applicazioni di questa innovativa integrazione, è stata offerta un'opportunità di formazione diretta. Il 9 ottobre, gli interessati hanno avuto la possibilità di partecipare a un webinar gratuito. Durante l'evento, sono stati forniti consigli pratici e presentati esempi di applicazione concreta di come sfruttare al meglio l'accesso di Wikidata agli LLM. Questo dimostra l'impegno di Wikimedia nel supportare la comunità di sviluppatori e nel promuovere l'adozione di queste nuove tecnologie.

In sintesi, l'iniziativa di Wikidata di aprire i suoi dati strutturati agli LLM segna un momento significativo per il futuro dell'intelligenza artificiale. Non si tratta solo di un miglioramento tecnico, ma di un passo verso un'AI più responsabile, trasparente ed equa, costruita su fondamenta di conoscenza verificata e su un impegno comunitario senza pari. Questo sviluppo non solo promette di migliorare la qualità e l'affidabilità dei modelli generativi, ma rafforza anche la visione di un sapere libero e accessibile per tutti, al servizio del progresso tecnologico e sociale.