Ein Roboter soll drei Bauklötze zu einem Wort stapeln. Manche Buchstaben sind zunächst verdeckt, ein Klotz muss gedreht werden, ein anderer liegt außerhalb der gewohnten Greifposition. Was nach einer überschaubaren Aufgabe aussieht, verlangt Wahrnehmung, Planung und präzise Bewegungen. Genau diese Schritte will das Allen Institute for AI (Ai2) mit der am 6. November vorgestellten Simulationsumgebung ToyBlocks getrennt untersuchen.
ToyBlocks ist die erste Umsetzung eines Konzepts, das Ai2 „FoundationWorlds“ nennt: eng begrenzte, kontrollierbare Welten für die Forschung am Roboterlernen. In der ersten Welt bewegt ein Roboterarm beschriftete Klötze auf einem Tisch. Der begrenzte Aufbau ist Absicht. Wer wissen will, weshalb ein Modell scheitert, muss Aufgaben, Trainingsbeispiele und Testbedingungen gezielt verändern können. In einer offenen, unübersichtlichen Umgebung wäre es deutlich schwerer, einen Fehler auf mangelnde Planung, schlechte Wahrnehmung oder eine misslungene Greifbewegung zurückzuführen.
Wie aus einer Aufgabe Trainingsdaten werden
ToyBlocks erzeugt zunächst einzelne Bewegungsfähigkeiten, etwa Schieben, Drehen oder Umdrehen. Dazu kombiniert das System Reinforcement Learning in Nvidias Isaac Lab mit klassischer Bewegungsplanung. Für diesen Schritt darf die Simulation Informationen nutzen, die ein echter Roboter nicht direkt hätte, etwa die genaue Lage eines Klotzes. Ein Aufgaben- und Bewegungsplaner setzt die Fähigkeiten anschließend zu längeren Abläufen zusammen. Die ausgeführten Pläne liefern aufgezeichnete Demonstrationen mit Angaben zu Aufgabe und Bewegung. So kann Ai2 Trainingsdaten erzeugen, ohne jede Bewegung von Menschen fernsteuern zu lassen. Ai2 beschreibt die Pipeline und stellt den Quellcode bereit.
Für das Training der eigentlichen Robotermodelle reicht dieser privilegierte Blick in die Simulation jedoch nicht. Die Modelle müssen aus Kamerabildern und Roboterzuständen auf die nächste Handlung schließen. Ai2 kann dafür etwa die Größe der Klötze, die Tischhöhe oder das Aussehen der Szene variieren. Forschende können anschließend gezielt prüfen, ob mehr Beispiele für das Drehen eines Klotzes auch bei zuvor ungesehenen Anordnungen helfen. Die Auswertung erfasst neben dem Erfolg einer Aufgabe unter anderem Fortschritt, Geschwindigkeit und Kräfte. Das Repository erläutert außerdem, wie sich Fehler einer übergeordneten Planung oder der ausführenden Bewegungssteuerung zuordnen lassen.
Als erste Veröffentlichung nennt Ai2 85.336 Demonstrationen längerer Aufgaben mit knapp 1.600 Stunden simulierter Roboterzeit und 144 Millionen Einzelbildern. Der Datensatz, Modellgewichte sowie Trainings- und Auswertungscode sind zugänglich. Ein vollständiger integrierter Trainingsablauf mit Reinforcement Learning gehört laut Ai2 allerdings noch nicht zum aktuellen Paket; das Institut kündigt ihn für eine spätere Erweiterung an.
Wo die Kontrolle über die Tests hilft
In einem Versuch ließ Ai2 den Bild- und Sprachplaner Molmo 2 die nächste Fähigkeit und den passenden Klotz auswählen. Das Bewegungsmodell ManiFlow führte die Anweisung aus. Bei einer einfachen Aufgabe, in der die Buchstaben sichtbar und aufrecht standen, gelang das in 111 von 200 simulierten Durchläufen. Am physischen Franka-Roboter waren es 15 von 30. Ai2 weist selbst darauf hin, dass weitere Versuche nötig sind, um die Übertragbarkeit statistisch sicherer einzuordnen. Die Ergebnisse gelten für diesen Versuchsaufbau und belegen noch keine verlässliche Bewältigung beliebiger realer Manipulationsaufgaben. Versuchsaufbau und Ergebnisse bei Ai2
Gerade die Abweichungen zwischen den Aufgaben sind aufschlussreich. Ein Modell kann eine Bewegung an bekannten Positionen beherrschen und trotzdem scheitern, sobald Klötze außerhalb des trainierten Arbeitsbereichs liegen. Bei längeren Abläufen kommt hinzu, dass ein Planer verdeckte Buchstaben erst suchen und seine Entscheidung nach jeder Bewegung an neue Kamerabilder anpassen muss. ToyBlocks erlaubt es, solche Schwierigkeiten getrennt zu testen, statt nur eine Gesamterfolgsquote zu melden.
Für Forschungsteams ist die offene Umgebung damit vor allem ein Werkzeug für kontrollierte Experimente: Sie können Trainingsmischungen ändern, Aufgaben zurückhalten und eigene Modelle unter denselben Bedingungen prüfen. Für Unternehmen, die Roboter einsetzen wollen, ist das noch keine fertige Simulationslösung für ihre Fertigung. Die Welt besteht aus einem Arm, einem Tisch und Klötzen; andere Greifer, Materialien oder Arbeitsplätze verlangen eigene Anpassungen und reale Sicherheitstests. Selbst wiederholte Auswertungen können schwanken: Die ManiFlow-Modellkarte dokumentiert unterschiedliche Ergebnisse bei gleichen Testepisoden, weil Simulation und gebündelte Inferenz nicht bitgenau deterministisch sind.
Fazit
ToyBlocks macht einen wichtigen Unterschied sichtbar: Viele Trainingsbeispiele allein erklären nicht, was ein Roboter tatsächlich gelernt hat. Die Stärke der Veröffentlichung liegt darin, Daten, Aufgaben und Fehler unter kontrollierten Bedingungen miteinander verknüpfen zu können. Wie weit sich die Ergebnisse auf komplexere Umgebungen übertragen lassen, muss sich außerhalb der Bauklotzwelt erst zeigen.