自動運転を形作る世界モデルの役割:包括的サーベイ
1分まとめ
駆動世界モデル(DWM)を予測モダリティ(ビデオ・点群・占有(オキュパンシー)・潜在特徴・交通マップ)で分類し、シミュレーション、データ生成、運転性能向上、事前学習への応用と、生成・プランニング性能を整理した包括的サーベイである。約180件の研究を体系的に整理し、データ希少性や信頼性、マルチセンサー対応、効率性、攻撃・防御を今後の課題として挙げている。
- 駆動世界モデル(DWM)を予測モダリティ別に分類し、ビデオ・点群・占有(オキュパンシー)・潜在特徴・交通マップの各系統とADへの応用を整理した包括的サーベイである。
- nuScenes検証セットのビデオ生成では、MiLAがFVD 18.2、CVD-STORMがFID 3.8を報告しており、初期のDriveDreamer(FID 14.9/FVD 340.8)から大幅な改善を示している。
- 占有(オキュパンシー)予測では、Occ3D-nuScenesでI2-Worldが平均mIoU 39.73%を達成し、初期のOccWorld(平均mIoU 17.14%)を上回る一方、カメラ入力の性能は占有入力を下回る。
- オープンループ運転では、SparseWorldが平均L2 0.27mを報告し、UniAD(平均L2 1.03m)を上回るが、閉ループ評価はCARLAとBench2Drive中心で実世界での性能は未検証である。
- サーベイであるため新規の実験はなく、性能比較は論文ごとの設定差(解像度や条件、入力モダリティ)を内包しており、直接比較には注意を要する。
課題
自動運転(AD)の世界モデル研究は、ビデオ・点群・占有(オキュパンシー)・潜在特徴・交通マップと多様なモダリティと応用に広がっており、既存のサーベイは単一の枠組みにまとめてしまい、モダリティ固有の課題と応用ごとの発展経路が見えにくくなっていた。
提案手法
サーベイ論文。駆動世界モデル(DWM)を予測対象のモダリティで5分類(ビジュアル空間、4D空間(点群・占有(オキュパンシー))、マルチモーダル空間、潜在空間、ベクトル化空間)し、それぞれの代表手法と開発経路を整理。そのうえで応用(シミュレーション、データ生成、運転性能向上、事前学習)と、生成・プランニング性能の比較、限界と将来方向を論じている。
評価と結果
ビデオ生成(nuScenes検証セット)では、MiLAがFID 3.0/FVD 18.2、CVD-STORMがFID 3.8/FVD 14.0(最大20秒)と報告され、初期のDriveDreamer(FID 14.9/FVD 340.8)やPanacea(FID 17.0/FVD 139.0)を上回る。点群予測では、LiDAR入力のCopilot4Dが1秒時点でCD 0.36 m2、カメラ入力のViDARが1.12 m2。占有(オキュパンシー)予測(Occ3D-nuScenes)では、I2-Worldが平均mIoU 39.73%/平均IoU 49.80%を報告する一方、カメラ入力のDTT-Fは平均mIoU 19.60%にとどまる。オープンループ計画(nuScenes)では、SparseWorldが平均L2 0.27m(平均衝突率0.29%)を報告し、UniAD(1.03m/0.31%)を上回る。閉ループはCARLA Town05/Town13とBench2Driveで報告されており、Think2DriveがBench2DriveでDS 91.85/SR 85.41%を達成するが、ORION(DS 77.74/SR 54.62%)などDWM非使用系に劣る場合も示されている。
駆動世界モデルの代表手法の性能比較(論文の表から抜粋)
| 手法 | モダリティ | 入力 | 指標 | 値 |
|---|---|---|---|---|
| DriveDreamer | ビデオ生成 | カメラ | FID↓ | 14.9 |
| MiLA | ビデオ生成 | カメラ | FID↓ | 3.0 |
| CVD-STORM | ビデオ生成 | カメラ | FID↓ | 3.8 |
| Copilot4D | 点群予測 | LiDAR | CD 1s (m2)↓ | 0.36 |
| ViDAR | 点群予測 | カメラ | CD 1s (m2)↓ | 1.12 |
| OccWorld-O | 占有予測 | 占有(オキュパンシー) | 平均mIoU (%)↑ | 17.14 |
| I2-World | 占有予測 | 占有(オキュパンシー) | 平均mIoU (%)↑ | 39.73 |
| UniAD | オープンループ計画 | カメラ | 平均L2 (m)↓ | 1.03 |
| SparseWorld | オープンループ計画 | カメラ | 平均L2 (m)↓ | 0.27 |
ビデオ生成性能(nuScenes検証セット)
ビデオ生成性能(FID)
占有予測の平均mIoU(Occ3D-nuScenes検証セット)
新規性
既存研究を予測モダリティと応用の2軸で分類し、生成性能と運転性能の比較表を統合した包括的サーベイであり、特定の新規手法を提案するものではない。
限界
著者らは「データ希少性」「信頼できるシミュレーション」「タスク統一」「マルチセンサーモデリング」「効率性」「攻撃と防御」を限界として挙げている。加えて、性能比較表は解像度・制御条件・入力モダリティ・生成時間が異なる手法を混在させており、厳密な比較にはならないことを著者自身が注記している。評価はnuScenes、Occ3D-nuScenes、CARLAなどの特定データセットとシミュレーション中心で、実車での検証は含まれていない。また、サーベイのため新規の実験的検証はない。カメラのみの4D予測は依然として占有(オキュパンシー)入力に比べて大幅に低い性能であり、この課題は後続研究でも中心的なテーマになっている。
産業へのインパクト
このサーベイは、駆動世界モデル(DWM)の研究領域を「予測モダリティ」と「応用」という軸で体系化したことで、この分野の標準的な分類法として参照される基盤となった。性能比較表はnuScenesやOcc3D-nuScenesなど現在も使われるデータセットでの報告値をまとめており、日本の自動車メーカー・サプライヤーが自社の世界モデル開発を位置づけ、競合比較する際の起点として利用できる。また、シミュレーションとデータ生成による開発コスト低減や、事前学習による下流タスク性能向上という応用経路を整理した点は、実装側の投資判断にも直接役立つ。