Nvidia presenta Cosmos 3 e Alpamayo 2 Super: un passo avanti nella fisica e nell'intelligenza artificiale umanoide alla GTC Taipei

Nvidia ha svelato una serie di modelli per robot, veicoli autonomi e sistemi di videosorveglianza alla GTC Taipei. Tra queste, Cosmos 3, Alpamayo 2 Super e una piattaforma robotica umanoida sono considerati passi decisivi nello sviluppo dell'intelligenza fisica e artificiale.

Cosmos 3: un nuovo modello di "Omnimodel"

Cosmos 3 è la terza versione del modello globale aperto di Nvidia. È in grado di gestire testi, immagini, video, audio e dati di azione in un sistema unificato. Gli sviluppatori possono utilizzarlo per creare dati di addestramento sintetici, interpretare scene e prevedere stati futuri del mondo, senza dover replicare situazioni nella realtà.

Applicazioni pratiche di Cosmos 3

• Utilizzato come modello linguistico e visivo, Cosmos 3 analizza video, ad esempio per identificare anomalie nel traffico nelle smart city.
• Il modello può generare video realistici di situazioni rare, come incidenti quasi-avvenuti o configurazioni insolite in un magazzino.
• Serve come base per i modelli World-Action, fornendo dati numerici riguardanti movimenti (angoli articolari o posizione del braccio) per insegnare a robot compiti come prendere e posare oggetti.

Architettura tecnica di Cosmos 3

Il modello utilizza un'architettura "Mixture of Transformers". Un transformer si occupa dell'analisi logica e visione, mentre un secondo genera video, descrizioni testuali o traiettorie. Addestrato su miliardi di esempi provenienti da testo, immagini, video, audio e dati azionari, Cosmos 3 viene offerto in tre varianti: Super, Nano (veloce e ottimizzato) e Edge (per ambiente embedded). I modelli sono disponibili con la licenza OpenMDW-1.1 su Hugging Face e GitHub.

Lanciata la "Coalizione Cosmos"

Per accompagnare l'uscita di Cosmos 3, Nvidia ha formato una coalizione con partner importanti come Black Forest Labs, Runway, Generalist e Agile Robots. L’alleanza utilizza l'infrastruttura di addestramento DGX Cloud di Nvidia e condivide i propri modelli e dati.

Alpamayo 2 Super: il modello guida per i taxi robot

Con le capacità livello 4, la famiglia Alpamayo di Nvidia rappresenta le tecnologie per il trasporto autonomo. Questi modelli permettono ai veicoli di prendere decisioni di guida in base a immagini di telecamere e di determinare una traiettoria di guida precisa.

Maggiore scalabilità

Finora esistevano Alpamayo 1 e 1.5 Nano, ciascuno con 10 miliardi di parametri. Il nuovo Alpamayo 2 Super ne ha 32 e si distingue per un miglior understanding spaziale e gestione di situazioni rare.

Più comprensione e sicurezza

Alpamayo 2 Super produce azioni di alto livello, come "cambiamento di corsia" o "cedere il passo", e fornisce una spiegazione di causalità per ogni decisione presa. Questo supporta la sicurezza e l'approvazione da enti di controllo. Nvidia lo presenta come un modello guida da cui si possono distillare versioni più compatte per il chip Drive AGXThor.

Forniti tool per il rafforzamento e la generazione

Nvidia ha annunciato AlpaGym, un framework open-source per l'apprendimento per rinforzo in simulazione, e OmniDreams, un modello generativo di situazioni rare nel traffico.

Riferimento aperto per robot umanoidi

L’"Isaac GR00T Reference Humanoid Robot" è una piattaforma aperta per la ricerca robotica. Alte circa 1,80 metri, utilizza il telaio Unitree H2 Plus, mani con cinque dita di Sharpa e il Jetson AGXThor T5000 come processore principale, che fornisce 2070 FP4 Teraflops.

Struttura software e partnership

Su software, utilizza il stack "Isaac GR00T", composto da telecomando, simulazioni in Isaac Sim, modelli base e ROS. L'ambizione è standardizzare la piattaforma per rendere la robotica più accessibile ma anche dipendente dagli strumenti di Nvidia, come i Jetson e gli strumenti di Isaac.

Gli obiettivi di Nvidia: standard e controllo

La società non vende autonomamente il robot, lasciando il compito a Unitree. Partner accademici sono Ai2, ETH Zürich e Stanford Robotics Center. L'obiettivo è stabilire un punto di riferimento hardware e software per l’industria robotica.

I vantaggi del canale THE DECODER

Gli utenti interessati possono sottoscrivere l’abbonamento THE DECODER per accedere all’informazione sull'intelligenza artificiale con curatore umano. Questo permette un'esperienza di lettura senza intralcio, commenti aperti, il "Ki Radar", newsletter tematiche, sconti sugli eventi e l'archivio degli ultimi dieci anni.