HyWorldVLA: 自動運転のためのハイブリッド世界モデリングを備えたVision-Language-Action（VLA）モデル
1分まとめ
HyWorldVLAは、画素再構成と潜在予測を併用したハイブリッド世界モデルをVLAに組み込み、NAVSIM v1でPDMS 90.59、v2でEPDMS 89.71を達成した。雨・霧を含む655ケースのノイズ評価ではPDMS 86.87で、画素ベースのDriveVLA-W0（61.18）を大きく上回った。
- 画素再構成と潜在予測の二重監督で世界モデルを事前学習し、微調整時は潜在予測のみで行動を生成するハイブリッド方式を提案した。
- NAVSIM v1でPDMS 90.59を達成し、画素ベースのDriveVLA-W0（90.2）や潜在ベースのOneVL（88.8）を上回った。
- 雨・霧を含む655ケースのノイズ評価でPDMS 86.87を記録し、DriveVLA-W0の61.18を大きく引き離した。
- 評価はNAVSIMのクローズドループ・シミュレーションのみで、実車評価は行われていない。また単一前方カメラ構成のため、旋回時の視野制約が残る。
課題
既存の画素ベース世界モデルは未来フレーム再構成により詳細な時空間推論ができるが、雨・霧・照明変動などのシーン雑音に敏感でロバスト性が低下する。一方、潜在ベース世界モデルは雑音耐性があるが、画素レベルの接地がないため表現の退化と解釈性の低下を招く。
提案手法
HyWorldVLAは、テキストガイダンス付きのビデオVAEで潜在特徴を学習し、事前学習ではVQGANによる画素トークン予測とVAE潜在特徴の回帰を同時に行う。その後、co-fine-tuningでは潜在特徴のみを予測し、ジョイントアテンションを通じて行動エキスパート（選択型またはフローマッチング型）に渡して軌道を生成する。バックボーンはEmu3を使用し、アクションはFASTトークナイザで離散化する。事前学習の損失は言語・アクション・画素トークンのクロスエントロピーと潜在特徴のL2損失の重み付き和で、λ1=0.5, λ2=0.1、co-fine-tuningではλ3=0.1と設定した。
評価と結果
NAVSIM v1/v2のクローズドループ評価で、v1のPDMSは90.59（NC 98.6, DAC 98.9, TTC 95.1, C. 99.3, EP 84.6）、v2のEPDMSは89.71（NC 98.8, DAC 98.2, DDC 99.5, TLC 99.9, EP 87.8, TTC 98.1, LK 96.2, HC 98.3, EC 77.4）。画素ベースのDriveVLA-W0（v1 PDMS 90.2）、潜在ベースのOneVL（88.8）を上回った。雨・霧のノイズテストではPDMS 86.87で、DriveVLA-W0（61.18）、DriveLaW（67.49）、WoTE（60.65）を上回った。フローマッチング版でもPDMS 88.76でDriveVLA-W0（fm）の87.2を上回った。
NAVSIM v1におけるPDMS比較
| 手法 | 種別 | センサ | PDMS |
|---|---|---|---|
| DriveVLA-W0 | 画素ベース世界モデル | 1x Cam | 90.2 |
| OneVL | 潜在ベース世界モデル | 1x Cam | 88.8 |
| HyWorldVLA (Ours) | ハイブリッド世界モデル | 1x Cam | 90.59 |
雨・霧ノイズ下でのPDMS比較
新規性
画素レベルの再構成と潜在特徴予測を同一フレームワークで併用し、世界モデルのノイズロバスト性に関する定量的評価を初めて行った点にある。技術要素自体は既存の画素ベース・潜在ベース手法の統合であり、組み合わせに新規性がある。
限界
著者は、単眼カメラフレームワークをマルチモーダルセンサへ拡張することと、潜在ダイナミクスと重要交通要素との結合強化を今後の課題として挙げている。論文から読み取れる制約として、評価がNAVSIMシミュレーションのみであり実車での検証がないこと、ノイズ評価がOpenScene由来の655ケースに限られること、比較ベースラインは各論文の報告値であり実装条件が完全に揃っていない可能性があることがある。
産業へのインパクト
世界モデルをVLAに組み込む際の「画素か潜在か」という設計トレードオフを解消する実装例として参考になる。単眼カメラでも高いスコアを出す一方、旋回時の視野制約が明示されており、量産車への適用にはマルチカメラやLiDARとの融合が前提となる。シミュレーション上の性能である点を割り引いて評価すべき。