Ein Roboter kann seine nächste Bewegung nur ausführen, wenn sein Steuerungsmodell rechtzeitig eine Aktion liefert. Bei großen Modellen wird genau das zum Problem: Sie passen nicht unbedingt auf den Rechner am Roboter, und während der Berechnung darf die Bewegung nicht unkontrolliert stocken. Die am 5. November veröffentlichte Version 0.7.0 von Hugging Faces offenem Robotik-Framework LeRobot setzt an mehreren Stellen dieser Kette an. Sie erweitert das Training großer Modelle, lässt Datensätze direkt aus entfernten Speichern lesen und trennt die Modellinferenz vom Rechner, der Kameras und Motoren bedient.[1][2]
Vom Datensatz zur Bewegung
Für das Training musste ein Team große Videodatensätze bisher oft vollständig auf den Trainingsrechner holen. LeRobot 0.7.0 kann stattdessen vorhandene Datensätze im LeRobotDataset-v3-Format während des Trainings streamen. Der neue Reader lädt die benötigten Parquet-Spalten und komprimierten Bereiche der MP4-Dateien nach. Er verteilt vollständige Episoden auf Trainingsprozesse und DataLoader-Worker; innerhalb eines Durchlaufs besucht er die ausgewählten Frames jeweils einmal. Das spart lokalen Speicherplatz, ersetzt aber weder die Datenübertragung noch einen ausreichend schnellen Zugriff auf den entfernten Speicher.[1][3]
Daneben kann LeRobot Datensätze aus Lance-Tabellen lesen, während die ursprünglichen MP4-Dateien als Objekte erhalten bleiben. Für große Robotikprojekte ist das vor allem deshalb interessant, weil sich Datenzugriff und Training besser voneinander entkoppeln lassen. Wie schnell ein konkreter Lauf wird, hängt weiterhin von Netzwerk, Speicher und Dekodierung ab. Die im Release-Beitrag genannten Durchsatzgewinne stammen aus den Tests des Projekts und lassen sich nicht pauschal auf andere Infrastruktur übertragen.[1][3]
Auch das Modelltraining selbst wächst über einzelne GPUs hinaus. LeRobot ersetzt seinen bisherigen FSDP1-Pfad durch FSDP2 und HSDP, ergänzt verteilte Checkpoints und unterstützt damit Arbeitsabläufe für speicherintensive World-Action-Modelle. Solche Modelle verarbeiten Beobachtungen und Aktionen gemeinsam; manche erzeugen zusätzlich eine mögliche Fortsetzung der beobachteten Szene. Version 0.7.0 integriert unter anderem Cosmos 3, FLUX 3 Action, LaWAM und Long-WAM. Das ist in erster Linie eine Erweiterung der unterstützten Modellfamilien und Trainingswege, kein Nachweis, dass eine davon auf einem beliebigen Roboter zuverlässig arbeitet.[1][2]
Ein GPU-Server für das Modell, ein Rechner am Roboter
Bei der Ferninferenz bleiben Kameras, Motoren und Aufzeichnung am Roboter. Ein GPU-Server berechnet aus aktuellen Beobachtungen ein neues Bündel von Aktionen. Während die Antwort unterwegs ist, arbeitet der Roboter bereits berechnete Aktionen aus einem Puffer ab. Der Client muss anschließend veraltete Schritte verwerfen und den neuen Plan mit den noch ausstehenden Bewegungen zusammenführen. So kann die Steuerung weiterlaufen, obwohl das Modell auf einem anderen Rechner arbeitet.[1][4]
Das Verfahren verlangt sorgfältige Abstimmung: Wer früher eine neue Vorhersage anfordert, kann schneller auf veränderte Beobachtungen reagieren, braucht aber auch passende Reserven für Netzwerk- und Rechenlatenz. Der Transport nutzt Zenoh; die Dokumentation beschreibt Konfigurationen für TLS und Zugriffskontrolle. Beobachtungen verlassen bei dieser Architektur den Rechner am Roboter und erreichen den Modellserver. Wer mit sensiblen Kamerabildern arbeitet, muss diesen Datenfluss ebenso absichern wie die Motorsteuerung. Außerdem funktioniert der Pfad nicht mit jeder Kombination aus Modell und Hardware: Die Dokumentation nennt Bedingungen für unterstützte Aktions-Checkpoints und verlangt von Robotertreibern eine geeignete Positionshaltefunktion.[1][4]
LeRobot ergänzt zudem interaktive Läufe. Über lerobot-rollout --interactive=true können Bediener eine Teilaufgabe ändern, Fragen zum Kamerabild stellen oder das System weitere Teilaufgaben wählen lassen, ohne die Sitzung jedes Mal neu zu starten. Für Fragen und selbstständige Teilaufgaben braucht es allerdings eine textgenerierende Policy oder einen zusätzlichen Vision-Language-Planer. Die neuen Befehle machen aus einer reinen Bewegungs-Policy nicht automatisch einen zuverlässigen autonomen Agenten.[1]
Der Umstieg ist kein kleines Versionsupdate
Bestehende Installationen sollten die Release Notes vor einem Wechsel prüfen. FSDP-Checkpoints aus LeRobot 0.6.x lassen sich mit dem neuen verteilten Training nicht einfach fortsetzen, auch wenn ihre Modellgewichte weiterhin geladen werden können. Für die bisherige asynchrone Inferenz entfallen Modul und Installations-Extra; an ihre Stelle treten die neue Ferninferenz und ein gesonderter lokaler RTC-Pfad. Hinzu kommen Änderungen bei Abhängigkeiten, Konfigurationsnamen und Bildtransformationen. Gerade bei einem realen Roboter sollten Teams deshalb alte Trainingsläufe, Checkpoints und Steuerungsschleifen getrennt testen, bevor sie ihre Umgebung umstellen.[2][4]
Fazit
LeRobot 0.7.0 verbindet drei bislang schwer zusammenzubringende Schritte: große Demonstrationsdaten einlesen, anspruchsvolle Robotermodelle verteilt trainieren und ihre Vorhersagen während eines laufenden Einsatzes nutzen. Für Forschungsteams mit großen Datensätzen und einem GPU-Rechner abseits des Roboters ist das ein nützlicher Ausbau des Werkzeugkastens. Ob ein konkreter Roboter davon profitiert, entscheidet sich aber an der Datenpipeline, den unterstützten Modell- und Treiberverträgen sowie an Tests unter den eigenen Latenz- und Sicherheitsbedingungen.[1][3][4]
Quellen
[1] Hugging Face/LeRobot, „LeRobot v0.7.0: From Terabytes to Prompting Robots“, 5. November 2026: https://huggingface.co/blog/lerobot/lerobot-release-v070
[2] LeRobot, GitHub-Release „v0.7.0“ mit inkompatiblen Änderungen, 5. November 2026: https://github.com/huggingface/lerobot/releases/tag/v0.7.0
[3] LeRobot-Dokumentation zu Version 0.7.0, „Training Dataset Streaming“: https://huggingface.co/docs/lerobot/v0.7.0/trainingdatasetstreaming
[4] LeRobot-Dokumentation zu Version 0.7.0, „Remote Inference“: https://huggingface.co/docs/lerobot/v0.7.0/remote_inference