5,83-fache Beschleunigung: PolicyTrim lässt VLA-Roboter Umwege vermeiden und Aufgaben schneller erledigen

【Einleitung】VLA-Modelle können bereits Aufgaben erledigen, aber echte Roboter sind immer noch langsam! PolicyTrim ist eine Methode zur Optimierung der Ausführungseffizienz von VLA-Robotern, ohne dass ein erneutes Training erforderlich ist. Es erweitert zuverlässige Aktionssequenzen und reduziert redundante Schritte, um Robotern zu helfen, Aufgaben direkter zu erledigen und die Gesamtgeschwindigkeit zu verbessern.

Vision-Language-Action (VLA)-Modelle vereinen visuelle Beobachtungen, Sprachbefehle und Roboteraktionen in einem einzigen Policy-Modell, sodass Roboter komplexe Manipulationsaufgaben basierend auf natürlicher Sprache ausführen können.

Von OpenVLA, OpenVLA-OFT bis hin zu π0.5, GR00T werden diese Modelle zu einem wichtigen technologischen Ansatz für verkörperte Intelligenz.

Aber wenn VLA-Modelle tatsächlich auf Robotern eingesetzt werden, zeigt sich sofort ein kritischer Engpass: Die Gesamtzeit, die ein Roboter benötigt, um eine Aufgabe abzuschließen, hängt nicht nur davon ab, wie schnell jede Inferenz ist, sondern auch davon, wie viele Inferenzen und wie viele reale physikalische Aktionen die Policy tatsächlich benötigt.

Bei mehreren Rollouts derselben Aufgabe gibt es signifikante Schwankungen in der Anzahl der Ausführungsschritte von VLA-Modellen, was darauf hindeutet, dass kürzere, direktere Erfolgspfade erreichbar sind, die aktuelle Policy sie jedoch oft nur zufällig findet.

Unzuverlässigkeit am Ende von Action Chunks: Das Modell sagt mehrere Aktionen auf einmal voraus, aber die späteren Aktionen neigen dazu, Fehler zu akkumulieren, sodass das System häufig neu planen muss. Eine erzwungene Verlängerung der Ausführungslänge verringert die Erfolgsrate und erhöht die Anzahl der physikalischen Schritte.

Erhebliche Redundanz physikalischer Aktionen: Selbst wenn die Aufgabe letztendlich erfolgreich ist, kann die Trajektorie viele Korrektur-, Rückwärts- und Wiederholungsaktionen enthalten.

Daher hängt die VLA-Bereitstellungseffizienz nicht nur von der Inferenzlatenz pro Schritt ab, sondern auch von der Policy-Effizienz: Wie viele Aktionen in einer Vorhersage können zuverlässig ausgeführt werden? Wie viele reale physikalische Schritte sind tatsächlich erforderlich, um die Aufgabe abzuschließen?

Bestehende Methoden konzentrieren sich meist auf die Rechenseite, wie z.B. visuelles Token-Pruning, Quantisierung, KV-Cache-Wiederverwendung, Destillation oder Optimierung der Inferenz-Engine. Diese Methoden können die Latenz pro Inferenz reduzieren, aber wenn die Policy immer noch viele redundante physikalische Schritte benötigt, bleibt die tatsächliche Aufgabenzeit lang.

Das direkte Festlegen längerer Action Chunks ist ebenfalls nicht zuverlässig.

Experimente in der Arbeit zeigen, dass bei erzwungener Verlängerung der Aktionsausführungslänge die Erfolgsrate sinken und die Anzahl der physikalischen Schritte zunehmen kann. Dies deutet darauf hin, dass minderwertige Vorhersagen am Ende Fehler in die physische Welt einbringen, die der Roboter dann mit mehr Korrekturaktionen beheben muss.

Kernfrage: Kann man, ohne die Aufgaben-Erfolgsrate zu opfern, durch Post-Training bestehenden VLA-Policies automatisch beibringen, „weniger Umwege zu machen" und Aufgaben mit weniger physikalischen Schritten zu erledigen?

Ein Team unter der Leitung von Professor Yinjie Lei von der Sichuan-Universität hat PolicyTrim vorgeschlagen – ein zweistufiges Reinforcement-Learning-Post-Training-Framework, das auf „Policy-Effizienz" abzielt. Es ändert die VLA-Architektur nicht und sammelt keine neuen Expertendaten, sondern optimiert das tatsächliche Ausführungsverhalten des Roboters auf Basis der bestehenden vortrainierten Policy.

Projektseite:https://inceptionwang.github.io/PolicyTrim/

Paper-Link:https://arxiv.org/abs/2606.22540

Code-Link:https://github.com/INCEPTIONwang/PolicyTrim

Modell-Link:https://huggingface.co/INCEPTIONwang/PolicyTrim

Die neue Methode erreicht:

• 3× Action-Chunk-Auslastung, zuverlässige Ausführung über längere Horizonte;
• 51,4% Reduzierung der physikalischen Schritte, Kompression redundanter Korrekturaktionen;
• 5,83× maximale End-to-End-Beschleunigung, LIBERO Object/π0.5;

Von „schneller rechnen" zu „schneller ausführen"

Das Kernziel von PolicyTrim ist nicht, rechenseitige Beschleunigung zu ersetzen, sondern eine andere vernachlässigte Dimension zu ergänzen: die Reduzierung der Anzahl der Vorwärtsinferenzen, die zum Abschließen einer Aufgabe erforderlich sind. Es zerlegt die Policy-Effizienz in zwei optimierbare Ziele: zuerst zuverlässige Action Chunks erweitern, dann redundante physikalische Schritte komprimieren.

1. Zuverlässige Action-Chunk-Erweiterung (Reliable Action Chunk Extension)

Viele aktuelle VLA-Policies geben Aktionssequenzen in Form von Action Chunks aus, aber bei der Bereitstellung werden oft nur die ersten Schritte ausgeführt. In der ersten Phase verwendet PolicyTrim eine dynamische Horizonterkundung: Demselben Rollout werden verschiedene Akzeptanzraten zugewiesen, sodass das Modell zuverlässige Grenzen über kurze, mittlere und lange Fenster parallel erkunden kann.

Trajektorien, die Aufgaben erfolgreich abschließen und längere Ausführungsfenster haben, erhalten eine höhere Belohnung, was das Modell dazu ermutigt, die ursprünglich unzuverlässigen Aktionen am Ende des Chunks nutzbarer zu machen.

Die Horizon-Belohnung wird nur aktiviert, wenn innerhalb der Gruppe erfolgreiche Trajektorien auftreten, um zu vermeiden, dass das Modell bei Misserfolgen blind eine längere Chunk-Länge anstrebt.

2. Redundanzbewusste Schrittkompression (Redundancy-Aware Step Reduction)

Nachdem der zuverlässige Horizont erweitert wurde, reduziert die zweite Phase die Gesamtzahl der physikalischen Schritte weiter. PolicyTrim führt eine Step-Saving-Belohnung ein: Je weniger Schritte eine erfolgreiche Trajektorie benötigt, desto höher die Belohnung.

Die Step-Saving-Belohnung schreibt „kürzere, direktere erfolgreiche Trajektorien" direkt in das Optimierungsziel.

Group-Anchored Regularization unterdrückt nicht reproduzierbare spekulative Abkürzungen, um zu vermeiden, dass das Modell nur kurze Pfade anstrebt, aber die Erfolgsrate beeinträchtigt.

Die zweistufige sequenzielle Optimierung verhindert, dass sich die Ziele „Chunk verlängern" und „Schritte verkürzen" gegenseitig stören, und reduziert letztendlich die Anzahl der Vorwärtsinferenzen, die zum Abschließen einer Aufgabe erforderlich sind.

Experimentelle Ergebnisse

Die Arbeit validiert PolicyTrim auf LIBERO, ManiSkill, Meta-World und realen Roboteraufgaben und deckt verschiedene VLA-Architekturen wie π0.5, OpenVLA-OFT und GR00T ab. Die Gesamtergebnisse zeigen, dass PolicyTrim die Ausführungseffizienz signifikant verbessert, während die Erfolgsrate stabil bleibt.

In LIBERO erreicht π0.5 eine bis zu 5,83-fache End-to-End-Beschleunigung bei einer Erfolgsrate von über 98%.

Benchmark-übergreifende Ergebnisse zeigen, dass PolicyTrim auf ManiSkill eine bis zu 2,36-fache Beschleunigung und auf Meta-World eine 2,52-fache Beschleunigung erreicht.

Architekturübergreifende Ergebnisse zeigen, dass OpenVLA-OFT nach erneutem Vortraining mit dem vollständigen zweistufigen Verfahren eine 2,97-fache Beschleunigung erreicht; OpenVLA allein mit der zweiten Stufe erreicht eine 1,41-fache Beschleunigung.

Qualitativer Vergleich: Weniger Umwege, direktere Trajektorien

In zufällig ausgewählten LIBERO-Aufgaben zeigt die Baseline oft redundante Korrekturbewegungen und Zögern/Zittern in der Nähe des Ziels; die Trajektorien von PolicyTrim sind glatter und direkter, sodass dieselbe Aufgabe mit weniger physikalischen Schritten abgeschlossen wird, typischerweise etwa die Hälfte der Schritte.

Reale Roboterbereitstellung: Effizienzgewinne aus der Simulation übertragen sich auf die physische Welt

Die Arbeit validiert weiterhin reale Roboteraufgaben an einem Agilex Piper Roboterarm mit zwei Intel RealSense D435i Kameras, einschließlich der Aufgaben FlipMug, HangMug und TapeBox. Die Experimente decken sowohl Standardeinstellungen mit festen Zielpositionen als auch dynamische Einstellungen mit zufälligen Störungen während des Greifvorgangs ab.

PolicyTrim hält oder verbessert die Erfolgsrate sowohl unter Standard- als auch unter dynamischen Störungseinstellungen und verkürzt gleichzeitig die reale Ausführungszeit signifikant. Unter Standardeinstellungen wird eine durchschnittliche End-to-End-Beschleunigung von 1,86-fach erreicht.

Aus den experimentellen Ergebnissen geht hervor, dass PolicyTrim nicht nur Benchmark-Metriken optimiert: Bei physischen Robotern kann die Aufgabenerfüllungszeit ebenfalls auf etwa die Hälfte der Baseline reduziert werden, während die Robustheit in dynamischen Störungsszenarien erhalten bleibt.

Warum ist PolicyTrim effektiv?

• Effizienzsteigerung auf der Ebene der Strategie selbst: Es reduziert redundante Aktionen und unnötige Neuplanungen, nicht nur die Latenz einzelner Inferenzen.

• Kein Training von Grund auf: Als Post-Training-Framework kann es auf bestehenden VLA-Modellen aufbauen und so Daten- und Trainingskosten senken.

• Gleichzeitige Berücksichtigung von Geschwindigkeit und Erfolgsrate: Zuverlässige Horizonterweiterung vermeidet blinde Verlängerung von Chunks, Stabilitätsbeschränkungen verhindern Spekulation auf kurze Pfade.

• Kombinierbar mit Beschleunigung auf Rechenebene: PolicyTrim optimiert die Anzahl der Vorwärtsinferenzen, während Methoden wie VLA-Cache die Zeit pro Inferenz reduzieren; beide Ansätze sind orthogonal und können kombiniert werden.

Die Kernaussage von PolicyTrim ist: Für VLA-Roboter resultiert Bereitstellungseffizienz nicht nur aus schnellerer Modellinferenz, sondern auch aus effizienterem Strategieverhalten. Den Roboter „weniger Umwege gehen zu lassen“, kann ebenfalls signifikante Beschleunigung bringen.

Referenz: https://arxiv.org/abs/2606.22540

Dieser Artikel stammt vom WeChat-öffentlichen Konto „新智元“, Autor: 新智元; Herausgeber: LRST