NAVSIM: データ駆動型の非リアクティブ自動運転シミュレーションとベンチマーキング
1分まとめ
オープンループ評価とクローズドループ評価の間を埋める非リアクティブシミュレーション「NAVSIM」を提案し、PDM Scoreが従来の変位誤差より閉ループスコアと良く相関することを示した。TransFuserがUniADと同等のPDMS 84.0を達成し、計算コストの小ささが際立つ結果となった。
- 非リアクティブシミュレーションとシミュレーション指標（PDMS）を組み合わせた自動運転ポリシーの評価基盤NAVSIMを提案し、OpenSceneから選別した103kの学習シナリオと12kのテストシナリオを標準化した。
- PDMSは従来の変位誤差と比べて閉ループスコアとの相関が高く、TransFuserがPDMS 84.0でUniADの83.4と同等以上を達成した。
- 非リアクティブ方式のため、他車との相互作用や誤差の蓄積は評価できず、後方衝突や信号無視は判定されない。評価もシミュレーション内の指標に限られる。
- CVPR 2024チャレンジでは143チームが463件を提出し、以後もNAVSIM 1.1としてリーダーボードが運用され、エンドツーエンドモデル比較の土台となった。
課題
既存のオープンループ評価は変位誤差に依存し、閉ループ性能と相関しない。nuScenesの計画評価は標準化されておらず、単純な直進シーンが多く、ego statusのみを入力とする盲目的エージェントが高いスコアを達成するなどの問題があった。クローズドループ評価は計算コストが高く、センサシミュレーションのドメインギャップも大きい。
提案手法
NAVSIMは、エージェントをシーン初期フレームで一度だけクエリし、出力された軌道を4秒間固定する非リアクティブシミュレーションを採用する。軌道はLQRコントローラとキネマティック自転車モデルで10Hzで展開され、衝突回避（NC）、路肩逸脱（DAC）、進行度（EP）、衝突余裕時間（TTC）、快適性（C）のサブスコアを計算し、PDM Score（PDMS）として統合する。データはOpenSceneから、定速エージェントがPDMS 0.8を超える簡単なシーンと、人間の走行でPDMSが0.8未満のシーンを除去し、navtrain（103k）とnavtest（12k）を構築した。ベースラインとしてTransFuser、LTF、UniAD、PARA-Driveを再実装して比較した。
評価と結果
navtestにおけるPDMSは、TransFuserが84.0、LTFが83.8、UniADが83.4、PARA-Driveが84.0で、Ego Status MLPは65.6、人間は94.8だった。PDMSは従来のオープンループスコア（OLS）と比較して、閉ループスコア（CLS）とのSpearman・Pearson相関が一貫して高かった。訓練コストはTransFuserがGPU 1台で約1日であるのに対し、PARA-Driveは80台で3日であり、性能が同等であるにもかかわらず計算コストに大きな差があった。CVPR 2024で開催されたチャレンジには143チームが463件を提出し、優勝はTransFuserを拡張したHydra-MDPで、公開リーダーボード（NAVSIM 1.1）ではPDMS 91.3を記録した。
NAVSIM navtest における各手法の指標（%）
| 手法 | NC | DAC | TTC | Comf. | EP | PDMS |
|---|---|---|---|---|---|---|
| Constant Velocity | 68.0 | 57.8 | 50.0 | 100 | 19.4 | 20.6 |
| Ego Status MLP | 93.0 | 77.3 | 83.6 | 100 | 62.8 | 65.6 |
| LTF | 97.4 | 92.8 | 92.4 | 100 | 79.0 | 83.8 |
| TransFuser | 97.7 | 92.8 | 92.8 | 100 | 79.2 | 84.0 |
| UniAD | 97.8 | 91.9 | 92.9 | 100 | 78.8 | 83.4 |
| PARA-Drive | 97.9 | 92.4 | 93.0 | 99.8 | 79.3 | 84.0 |
| Human | 100 | 100 | 100 | 99.9 | 87.5 | 94.8 |
フィルタリング前後における定速エージェントと人間のPDMS
新規性
非リアクティブなシミュレーションをオープンループ評価に組み込み、大規模実データで閉ループ相関を系統的に検証した点が新規である。スコア関数自体は既存のルールベースプランナー（PDM）の再実装であり、評価パラダイムの提案が主な貢献である。
限界
非リアクティブシミュレーションのため、他車との相互作用や、クローズドループで問題となる誤差の蓄積は評価できない。後方からの衝突はat-faultと見なされず、静止物体との衝突は0.5のソフトペナルティとなる。交通信号や一時停止の順守も評価対象外である。データセットはnuPlan由来のラベル誤差やカメラパラメータの誤差が残る。著者らも、開発時にはCARLAなどのグラフィックスベースのクローズドループシミュレータを併用するよう推奨している。その後の研究（Hydra-MDPなど）がこの枠組みを利用しているが、当時は評価基盤としての成熟度はまだ初期段階だった。
産業へのインパクト
NAVSIMは、オープンループ評価でありながら閉ループ指標と相関するスコアを大規模実データで計算する枠組みを確立し、エンドツーエンド自動運転モデルの標準的な比較基盤となった。公開リーダーボード（NAVSIM 1.1）は現在も運用され、後続研究がこの枠組みで評価されている。日本の自動車業界にとっては、実データに基づく大規模ベンチマークでセンサーフュージョンモデルと大規模アーキテクチャを公平に比較できる基盤としての意味を持つ。