Il punto cieco dei modelli Frontier: un fondo speculativo mostra il valore delle competenze espresse non addestrate
In collaborazione con Thinking Machines Lab, Bridgewater ha recentemente dimostrato che un modello raffinato open-source è in grado di superare i più avanzati modelli di intelligenza artificiale nel campo della selezione e l'analisi di documenti finanziari. Lo studio, effettuato con il supporto del laboratorio di ricerca AI di Bridgewater, mostra che il modello addestrato con conoscenze interne riesce a ottenere una precisione del 84,7 percento, con costi di funzionamento 14 volte inferiori rispetto al miglior modello competitivo.
Un problema cruciale nell'analisi di informazioni finanziarie consiste nell'identificare rapidamente quelle realmente rilevanti per i professionisti. I ricercatori hanno definito sei compiti tipici degli investitori, come capire se un articolo finanziario debba essere presentato a un dirigente o se un documento di banca centrale possa anticipare modifiche alle politiche monetarie.
Secondo il rapporto, sebbene leggere le informi non costi nulla, il vero valore per gli investitori sta nel processo di decisione, che spesso non riesce a essere espresso in termini chiari. Ad esempio, una notizia sui rivendicazioni di Trump su Groenlandia è considerata irrilevante, mentre le sue minacce di nuovi dazi verso la Cina è altamente rilevante, anche se entrambe sono strettamente correlate alla geopolitica e alla finanza.
Ai test svolti da Bridgewater e Thinking Machines Lab, i modelli Frontier come Gemini, Claude e GPT non hanno mostrato performance soddisfacenti. Senza intervento esperto, i risultati si sono attestati intorno al 50 percento di accuratezza. Anche dopo il perfezionamento con prompt di alta qualità e una suddivisione in tre livelli (“rilevante e interessante”, “rilevante ma poco interessante”, “irrilevante”), l'accuratezza non ha superato la soglia del 70 percento prevista per un’affidabilità operativa.
Secondo il rapporto, nonostante le recenti aggiornature, l'aumento delle capacità per dollaro investito non è significativo. Per esempio, il modello GPT 5.4 costa il 43 percento in più rispetto a GPT 5.2, ma offre un miglioramento minimo.
Il valore che nasce dentro l’azienda
Per ottenere risultati di livello elevato, Bridgewater ha raffinato un modello open-source utilizzando i propri dati, con l’aggiunta di giudizi degli investitori. Il modello non era addestrato solo sui documenti finanziari, ma anche sulle decisioni presse dagli esperti dell’azienda. L’approccio iniziale ha incluso l’uso di forze esterne a basso costo per valutare i documenti, ma molti di questi giudizi erano errati.
I ricercatori, invece di correggerli tutti manualmente, hanno sperimentato un algoritmo che confronta una prima valutazione con un modello che ricostruisce gli errori. I casi in conflitto vengono successivamente riesaminati dagli esperti in casa. Questo approccio mirato ha ridotto i costi e migliorato la qualità dell'addestramento.
Il modelli finale, addestrato sulla piattaforma Tinker di Thinking Machines Lab, utilizza il modello opensource Qwen3-235B. Gli autori hanno dichiarato che il modello raffinato ha raggiunto una precisione del 84,7 percento, superando il 78,2 percento del modello commerciale più performante, e con costi di esecuzione significativamente inferiori. Tuttavia, è importante sottolineare che questo confronto non è del tutto indipendente e potrebbe essere influenzato dagli interessi aziendali.
Il ruolo cruciale del know-how umano
Questo studio evidenzia che i laboratori di intelligenza artificiale, come ad esempio OpenAI, non hanno ancora assorbito tutte le informazioni necessarie per migliorare il funzionamento della tecnologia. Molti dati proprietari non sono mai stati usati per addestramento e molti esperti possiedono competenze critiche in grado di incrementare la precisione e l'efficacia dei modelli di intelligenza artificiale.
I dati sensibili, se condivisi con laboratori esterni, possono portare a concorrenti ben addestrati e ben strutturati. La conclusione del test è chiara: aziende come Bridgewater devono mantenere i propri dati strategici, poiché un abbandono non controllato potrebbe facilmente dare origine a prodotti competitor che si avvantaggiano dell'interno know-how delle aziende clienti.
Dal punto di vista tecnico, la personalizzazione di modelli open-source tramite piattaforme come Tinker rappresenta una soluzione promettente per le organizzazioni che desiderano mantenere il controllo sui loro dati, sulle architetture neurali e sull'hardware utilizzato, come le GPU.
Il vantaggio chiave, insomma, è che le aziende non debbono sempre affidarsi alle grandi piattaforme di intelligenza artificiale per sviluppare strumenti di elevata qualità per i loro flussi di lavoro. Il know-how interno, opportunamente utilizzato, può diventare una risorsa inestimabile.