Dall'hub Hugging Face agli strumenti robotici con Strands Agent e LeRobot

Immagina di possedere un robot, una cartella di dati sul dataset Hugging Face Hub e un nuovo compito che vorresti insegnare al robot. Oggi, per farlo richiede cinque diversi strumenti: uno per registrare nuovi dati, un altro per addestrare, un terzo per testare in simulazione, codice personalizzato per essere implementato su hardware ed un quinto per coordinarsi con un numero maggiore di robot. Gli strumenti funzionano bene singolarmente, ma spesso non riescono a comunicarsi.

Strands Robots, uno SDK open-source per robot

Strands Robots è uno SDK Apache 2.0 opensource di AWS che espone astrazioni per i robot, la simulazione e la pila di LeRobot in quanto Strumenti Agent che si compongono in un unico agente Strands. L'integrazione è deliberatamente sottile: gli script di LeRobot stessi gestiscono la registrazione e il calibrazione dell'hardware, ed entrano i Strumenti AgentStrands per le parti che l'agente orchestrerà effettivamente. Lo strumento di simulazione registra i LeRobotDatasets nello stesso formato in cui LeRobot li registra sull'hardware.

GR00T e LerobotLocal forniscono l'inferenza della politica dietro un'interfaccia comune e checkpoints MolmoAct2 vanno attraverso il path LerobotLocal. Rete di peer estende l'agente verso robot remoti. Il formato del dataset rimane identico a come lo ha scritto LeRobot; il ciclo dell'agente diventa la colla.

Un percorso di 5 passaggi all'interno di un unico agente

Questo articolo guida attraverso cinque passaggi all'interno di un singolo agente: costruisci l'agente sull'infrastruttura dei LeRobot AgentTools, registra una dimostrazione come LeRobotDataset in simulazione, esegui una politica su stesso robot; deploya stesso codice agente ad un fisico SO-101 cambiando un unico argomento chiave e trasmetti comandi ad un'intera flotta attraverso la rete Zenoh. Alla fine, puoi clonare un'applicazione di esempio funzionante da GitHub e farla girare sul tuo laptop in simulazione. Nessuna necessità di hardware, GPU o credenziali Hugging Face per il percorso predefinito.

L'esempio del partner attivo è esistente agli esempi/lerobot/hubtohardware.py e al hubtohardware.ipynb. La traccia notebook è solo simulazione e inizialmente utilizza una politica fittizia.

SDK Strands Robots esponendo LeRobot come AgentTools

L'SDK Strands Robots espone la pila LeRobot come AgentTools che puoi comporre in un unico agente Strands. L'agente di esempio in questo articolo fa quattro cose: registra nuove dimostrazioni in simulazione, spinge il risultato sull'hub Hugging Face come dataset LeRobotDataset, esegue una politica in simulazione contro lo stesso formato e deposita lo stesso codice agente ad un robot fisico con un unico cambio di chiave. Con più robot il codice agente può coordinare l'intera flotta attraverso una rete di peer. Per la registrazione hardware e di calibrazione, i CLI di LeRobot (lerobot-record, lerobot-calibrate) gestiscono l'inizializzazione; l'agente prende da lì.

Due scelte di progettazione cruciali

Due scelte di progettazione permettono tutto questo a funzionare. Prima, Robot("so100") restituisce una simulazione di default (nessun problema con l'hardware, nessuna rischio), e mode="real" restituisce un robot hardware gestito da LeRobot. Il codice dell'agente è identico in entrambi i modi. Seconda, il DatasetRecorder che scrive un LeRobotDataset è condiviso tra il percorso simulazione e la registrazione hardware di LeRobot, quindi un dataset catturato in MuJoCo e uno catturato da un robot fisico SO-101 sono nello stesso formato.

Agenti e processi

Ciò che segue è ciò che realmente accade dentro quella chiamata, passo per passo.

E' sufficiente questo passo per permettere all'esempio in questo articolo di girare in un laptop con sole tre risorse.

Esporta il token di Hugging Face se desideri che l'agente spinga datasets o tiri politiche dall'HUB. Questo è opzionale per il percorso di simulazione predefinito in questo articolo; l'esempio gira end-to-end con la politica fittizia e scrive il dataset nel tuo cache locale senza necessitare l'accesso direttamente all'hub.

Un esempio eseguibile

L'esempio eseguibile si trova agli esempi/lerobot/hubtohardware.py (script python) e hubtohardware.ipynb (notebook), nel repo strands-labs/robots insieme esempi di MuJoCo e LIBERO. Il notebook è il punto di partenza consigliato: aprilo in JupyterLab e gira le celle da cima a fondo in modalità di simulazione senza nessun hardware connesso.

Strumenti per la simulazione robotica

Lo strumento di simulazione registra i LeRobotDatasets nello stesso formato in cui LeRobot gli scriverà sull'hardware. Non serve hardware. Azione start_recording del tool di simulazione scrive attraverso la classe DatasetRecorder: stesso schema parquet per stati articolari e azioni, stessa layout per MP4 per camera multipla. Il prompt dell'agente è quasi identico:

Il policy fittuoso è deliberato: genera azioni di articolazione di segnaposto in modo che il workflow giri end-to-end senza un checkpoint addestrato. Il robot si muove attraverso movimenti a caso piuttosto che completare la presa, e la registrazione è strutturalmente completa (stati articolari validi, frame da camere validi, episodio LeRobotDataset ben formato), ma la dimostrazione stessa non è utile come dati di allenamento. Al passo 3 sosti GR00T o LerobotLocal per il comportamento reale di presa. Per visualizzare l'azione effettiva della scelta di cubo in questo passo, esegui --policy lerobotlocal --checkpoint allenai/MolmoAct2-SO100101 (un checkpoint MolmoAct2, automaticamente rilevato dal proprio config.json e instradato attraverso il path LerobotLocal); il prompt, formato dataset e codice dell'agente rimangono identici.

Lettori dataset di LeRobot

La prova di questa integrazione è nel ciclo successivo. Il lettore dataset di LeRobot legge i dati registrati in simulazione senza percorrere codice specifico per Strands:

Questo dizionario feature che si ottiene è identico in forma rispetto ad ogni dataset LeRobot sull'HUB: nomi colonne uguali, stessa layout parquet + MP4, stesso percorso loader. I script di allenamento che consumano dati registrati sull'hardware consumano i dati registrati in simulazione senza modifiche. Se desideri che datasets spinti dalla simulazione si trovino accanto ad hardware registrati nello stesso repository HUB, puoi.

Percorso per il dataset registrato

Che episodio singolo da un dataset LeRobot registrado viene messo in scena dalla MP4 camera registrato, stesso formato video a disco che uno script di training legge.

Per registrare dimostrazioni su un fisico SO-101 invece della simulazione, usa diretamente la CLI di registrazione LeRobot. L'integrazione Strands non racchiude questo comando come strumento Agent perché LeRobot già s