Ant Group lancia LingBot-VA 2.0, un modello video-azione causale dedicato alla fisica e ai robot

Ant Group, azienda leader nel settore degli investimenti e del pagamenti digitali, ha aperto un'unità dedicata all'intelligenza artificiale incorporata chiamata Robbyant. All'interno di questa unità, è stata recentemente presentata un'evoluzione tecnologica significativa: LingBot-VA 2.0. Si tratta del primo modello di intelligenza artificiale video-azione nativo realizzato per robot generalisti. L'obiettivo di questo modello è rappresentare un nuovo standard per la manipolazione robotica, grazie a un'approccio che prevede l'addestramento completo per l'incarnazione, invece del fine-tuning di un generatore video tradizionale.

Che cos’è LingBot-VA 2.0?

Molti modelli video-azione si basano su componenti tradizionali utilizzati per la creazione di contenuti digitali, come il VAE orientato al ricostituzione o il nucleo di diffusion video bidirezionale. Questi, però, causano diversi limiti. In primo luogo, le latenze orientate alle immagini mantengono l'apparenza ma non contengono informazioni fisiche sufficienti. In secondo luogo, la denoising iterativa sulle token di video è troppo lenta per controlli in circuito chiuso. Terzo, gli obiettivi generici non insegnano mai a modellare il mondo con azioni specifiche. Ultimo, la struttura è diversa: i blocchi principali utilizzano l'attenzione bidirezionale, mentre il controllo si svolge in modo rigorosamente unidirezionale.

Version 1.0 del modello ha risolto parte di questi problemi, ma la versione 2.0 adotta un approccio completamente causale. Il modulo video utilizza un DiT (transformer differenziale) causale di base, che si basa su una struttura eterogenea composta da esperti video e azione. I due componenti condividono un'attenzione causale, ma seguono percorsi feed-forward autonomi.

Tokenizer Semantico e Dinamica Latente

Nella versione 1 del modello, il video tokenizer introduce nuove funzionalità per migliorare il ricostituzione e l'allineamento semantico. Il tokenizer semantico utilizza anche un modulo di allineamento semantico che attira le latenze visive verso un insegnante encoder della percezione. Un obiettivo aggiunto, la dinamica latente, permette di estrarre variabili di transizione compatte da latenze consecutive. La dinamica inversa prevede l'azione latente, mentre la dinamica diretta la decompone in una mappa di trasporto e un residuo.

Con questa struttura, lo spazio delle azioni e degli stati condivide un unico spazio latente. Questo permette all’AI di imparare da video non etichettati, utilizzando informazioni che sono rilevanti per l'azione.

Modello Causale di DiT

La versione 2 di LingBot-VA introduce un DiT causale con struttura basata su stream video e azione. Il modulo video esperto utilizza un layer di tipo "Mixture of Experts" (MoE) sparsa, con 128 esperti SwiGLU, route top-8, e un esperto condiviso. Il modulo azione esperto invece mantiene un FFN compatto con 768 dimensioni nascoste.

Il modello include circa 13,0 miliardi di parametri, con il 1,9 miliardi che sono attivi in fase di addestramento e circa 2,5 miliardi che si attivano per token in fase di inferenza. L'ottimizzazione è ottenuta grazie a un obiettivo di flow rettificato, combinando un ottimizzatore Muon-HybriD e AdamW.

Fonti di Segnale per l'Addestramento

Le fonti principali di supervisione per il modello sono i segnali derivati da diverse tecniche e obiettivi paralleli. L'MCP (Multi-chunk Prediction) permette addestramento rapido grazie a lossa di previsione su 3 chunk. Cinque obiettivi sono addestrati in parallelo: T2I, T2V, TI2VA, ICL e Human-Robot Co-Training.

Calendario di Addestramento e Piano Esecutivo

L'addestramento avviene lungo un piano in cui ogni obiettivo ha un periodo di esecuzione progressivo per evitare l'oblio di istruzioni precedentemente acquisite. Il modulo VLM (Language Vision Model) superiore gestisce i piani a lungo termine in tempo reale, emettendo informazioni JSON strutturate come goal, istruzione, descrizione locale.

Anticipazione del Risultato (Foresight Reasoning)

Per migliorare l'efficienza esecutiva, LingBot-VA 2.0 utilizza un meccanismo asincrono in cui l’executor e il simulatore lavorano in parallelo. Durante l'esecuzione di un’azione, il modulo video esperto anticipa l'effetto, permettendo al modulo azione di generare la prossima azione. L’osservazione successiva viene registrata e confrontata con il previsto per aggiornare il modello.

Dati sull'Esecuzione e Performance

Per misurare le performance, LingBot-VA 2.0 è stato testato con il framework RoboTwin 2.0, un ambiente sperimentale in cui ogni modello ha accesso a 2.500 video di alta qualità e 25.000 video con variazione randomica. I benchmark dimostrano che LingBot-VA raggiunge un’accuratezza media di 92,2, superando i modelli comparati come π0.5 (79,8) e Motus (87,9).

Un aspetto chiave dell’elevata velocità di esecuzione è l’accelerazione. Utilizzando diverse ottimizzazioni su strumenti e infrastruttura—come la distillazione di consistenza, il calcolo asincrono in FP8, e riduzione della cache—it modello ha migliorato il tempo di inferenza da 927 ms a solo 142 ms, permettendo un controllo asincrono di 225 Hz.

Differenze Chiave tra LingBot-VA 1.0 e 2.0

• Tokenizer: La versione 1 usa un VAE per la ricostruzione, mentre la versione 2 ha un tokenizer visivo-azione semantico con 96 canali latente.
• Bone back: La versione 1 è un'addestramento di un generatore bidirezionale; la versione 2 ha un DiT causale addestrato da zero.
• FFN video: La versione 1 ha un modello FFN denso; la versione 2 utilizza un modello sparcio MoE con 128 esperti.
• Supervisione aggiuntiva: La versione 2 include MCP, in-context learning e Human-robot co-training.
• Inferenza: Versione 1 utilizza la cache di inferenza sincrona; la versione 2 utilizza un'architettura di inferenza asincrona con rigenerazione delle osservazioni.

Applicazioni e Impatto Pratico

Oltre ai benchmark, il modello ha dimostrato di essere versatile per numerose applicazioni concrete:

• Onboarding a basso spazio