GeoWorldAD: 自動運転のためのジオメトリ世界行動モデル
1分まとめ
自己中心座標に整列した3次元ジオメトリを現在と未来の両方で利用し、軌跡計画を段階的に洗練する世界行動モデルを提案した。NAVSIM v1でPDMS 91.0、NAVSIM v2でEPDMS 90.4を達成し、比較手法の中で最高性能を更新した。
- カメラ映像から自己中心座標の多層ジオメトリを抽出し、将来のシーン変化を潜在トークンとして予測して軌跡計画に組み込んだ。
- NAVSIM v1でPDMS 91.0、v2でEPDMS 90.4を記録し、既存のDVGT-2（90.3/89.6）やEponaV2（90.4/88.9）を上回った。
- 将来ジオメトリの効果は自己位置進行量（EP）で最も大きく、v1で3.3ポイント、v2で2.8ポイント向上した。
- 評価はNAVSIMクローズドループシミュレーションのみで、実車・実路での検証は行われていない。
- カメラ入力のみで、LiDARや地図を併用する手法を上回る結果を報告しており、センサ構成の選択肢を広げる。
課題
既存のVision/Video-Actionモデルは視覚観察から直接方策を学習するが、明示的な3次元ジオメトリの根拠と将来の空間的手がかりを欠くため、衝突回避と進行効率のバランスが取りにくい。単一層のジオメトリ特徴では障害物境界とシーン構造を同時に捉えられず、RGB空間での未来予測は冗長で空間的指導として不十分である。
提案手法
GeoWorldADは、StreamVGGTを自己中心座標系に拡張したEgoStreamVGGTにより、多層（L=4,11,17,23）のジオメトリトークンを抽出する。ジオメトリワールドモデルはQ-Former型で、K=4個の将来チャンク（合計2秒）にM=64個の潜在トークンを学習し、将来の深度マップを予測して自己中心的な将来シーンの変化を捉える。アクションモデルは64個の軌跡プロポーザルを、4段階の現在ジオメトリ集約と1段階の将来ジオメトリ集約で反復改良し、段階ごとの最小ロスで学習する。将来ジオメトリの出力投影はゼロ初期化され、段階的に将来情報を軌跡に反映させる。
評価と結果
閉ループ評価はNAVSIM v1/v2で実施。v1のPDMSは91.0で、DVGT-2（90.3）やEponaV2（90.4）を上回った。v2のEPDMSは90.4で、DVGT-2（89.6）やEponaV2（88.9）を上回った。将来ジオメトリの有無を比べたアブレーションでは、v1のEPが82.6から85.9へ3.3ポイント、v2のEPが86.3から89.1へ2.8ポイント向上した。また、EgoStreamVGGTはOpenSceneの深度推定でAbs Relを0.236から0.141へ改善した（Table 5）。
NAVSIM v1 閉ループ計画性能（Table 1 より抜粋）
| 手法 | 入力 | NC | DAC | TTC | EP | PDMS |
|---|---|---|---|---|---|---|
| GeoWorldAD (ours) | C | 99.0 | 97.8 | 95.8 | 85.9 | 91.0 |
| DVGT-2 | C | 98.7 | 97.9 | 95.8 | 84.3 | 90.3 |
| EponaV2 | C | 98.6 | 97.9 | 95.7 | 84.8 | 90.4 |
| DriveVLA-W0 | C | 98.7 | 99.1 | 95.3 | 83.3 | 90.2 |
| WorldDrive | C | 98.4 | 96.8 | 95.2 | 83.3 | 89.0 |
| DriveLaW | C | 99.0 | 97.1 | 96.7 | 81.3 | 89.1 |
| DiffusionDrive | C&L | 98.2 | 96.2 | 94.7 | 82.2 | 88.1 |
| Transfuser | C&L | 97.7 | 92.8 | 92.8 | 79.2 | 84.0 |
将来ジオメトリの有無による総合スコアの比較
将来ジオメトリの有無による Ego Progress (EP) の比較
新規性
StreamVGGTを自己中心座標に拡張し、将来のジオメトリ進化を潜在トークンとして予測して軌跡計画の反復改良に組み込んだ点が新規。
限界
著者は現在のプランナーが固定長クリップで動作し、KVキャッシュによる効率的なストリーミング推論が未対応であることを限界として挙げている。また、評価はNAVSIMクローズドループシミュレーションのみで、実車・実路での検証はない。将来深度の教師はOpenSceneのみで学習されており、他のデータセットでの汎化は確認されていない。さらに、ジオメトリ事前学習には合成データも使用している。ベースラインの結果は論文の報告値に基づく。
産業へのインパクト
カメラ映像とジオメトリ補助のみで、LiDARや地図情報を使う手法に匹敵する計画性能を報告しており、センサ構成を簡素化できる可能性を示す。ただし、実車展開にはシミュレーションで得られた性能が実環境で成立するかの検証が必須であり、日本固有の交通ルールや道路形状への適応は未評価である。ジオメトリ表現による将来予測は、ビデオ生成型世界モデルに比べて計算コストが低い可能性があるが、本論文では計算コストの比較は行われていない。