nuPlan: 自動運転のためのクローズドループMLベース計画ベンチマーク
1分まとめ
自動運転のMLベース計画のための世界初のクローズドループ評価ベンチマークを提案した。1500時間・4都市のデータと計画専用メトリクスを備え、以後の計画研究の評価基盤となった。
- 自動運転のMLベース計画向けに、世界初のクローズドループ評価ベンチマーク「nuPlan」を提案した。
- 1500時間・4都市の運転データを提供し、既存最大のArgoverse（320時間）を上回る規模を計画した。
- 提案論文であり、ベンチマークの設計とデータセット概要を示すにとどまり、実ベースラインの性能評価は含まれない。
- オープンループのL2距離指標では長期計画を評価できないという問題を定式化し、以後の計画研究の評価基盤を築いた。
課題
既存の自動運転ベンチマークは短期の軌跡予測（prediction）に焦点を当てており、長期の計画（planning）の評価には適していない。オープンループ評価とL2距離ベースの指標（minADE、minFDE、miss rate）は、交差点での進路選択のようなマルチモーダルな状況や、エージェント間の相互作用を適切に評価できない。また、計画には高レベルの目標（ナビゲーションルート）が必要だが、予測データセットにはそれが含まれていない。
提案手法
nuPlanは、1500時間・4都市（ボストン、ピッツバーグ、ラスベガス、シンガポール）の実世界運転データ、軽量クローズドループシミュレータ、計画専用メトリクスを提供する。タスクは3段階に分かれる。オープンループ（人間の運転を模倣する）、非反応クローズドループ（他車は記録された軌跡をたどる）、反応クローズドループ（他車も計画モデルで動く）。メトリクスは交通ルール違反（衝突率、オフロード率など）、人間らしさ（縦・横位置誤差、ジャーク）、車両ダイナミクス（乗り心地、実現可能性）、目標達成（L2距離）、シナリオ別メトリクス（レーン変更時のTTC、歩行者との相対速度など）からなる。データセットはオフラインの自動ラベリング（PointPillars＋CenterPoint、MVF++、非因果的トラッキング）で高精度にアノテーションされる。
評価と結果
この論文はベンチマークの提案であり、ベースライン手法の性能評価は含まれない。主要な比較はTable 1のデータセット規模である。Argoverseは320時間・2都市、nuScenes予測は5時間・1都市、Lyftは1118時間・1都市、Waymoは570時間・6都市、nuPlanは1500時間・4都市とされている。ただし、これらの数値は提案時点の計画値であり、実験結果ではない。
既存の予測・計画データセットとの比較（提案時点）
| データセット | 時間 | 都市数 | センサデータ | データ種別 | 評価方式 |
|---|---|---|---|---|---|
| Argoverse | 320時間 | 2 | なし | 予測 | オープンループ |
| nuScenes予測 | 5時間 | 1 | あり | 予測 | オープンループ |
| Lyft | 1118時間 | 1 | なし | 予測 | オープンループ |
| Waymo | 570時間 | 6 | なし | 予測 | オープンループ |
| nuPlan | 1500時間 | 4 | あり | 計画 | オープン＋クローズドループ |
各データセットの運転データ時間の比較
新規性
既存の予測ベンチマークに対して、世界初のクローズドループMLベース計画ベンチマークを提案した点が新規性である。データセットの規模（1500時間）と計画専用メトリクスの組み合わせは従来にない。
限界
著者らは、メトリクスは初期提案でありコミュニティと協力して改良すると述べており、最終的な評価指標は未確定である。センサデータはデータセット全体（200TB超）の一部のみ公開予定である。反応クローズドループタスクのエージェントモデルの詳細は本論文では定義されておらず、シミュレーションの忠実度は検証されていない。また、この論文自体にはベースライン実験がなく、ベンチマークとしての有効性は実証されていない。その後の研究により、実際のnuPlanチャレンジが開催され、ベースライン手法と標準的な評価プロトコルが確立された。ただし、データセットの実測時間やセンサ構成はこの提案から変更された可能性がある（著者による明記なし）。
産業へのインパクト
この論文は、自動運転の計画タスクを予測タスクから分離し、「クローズドループ評価」と「計画専用メトリクス」を分野の標準要件として確立した。それまでMLベースのプランナーは各研究が独自の非公開データセットと指標で評価しており、比較が不可能だった。nuPlanは共通のデータと評価手続きを提供することで、以後のMLベース計画研究の比較可能性を大きく引き上げた。現在でもnuPlanは計画ベンチマークの代表例として参照される。