Bench2Drive: クローズドループ・エンドツーエンド自動運転のマルチ能力ベンチマーキング
1分まとめ
閉ループで44の対話シナリオを分離評価するエンドツーエンド自動運転（E2E-AD）向けベンチマークBench2Driveを提案した。CARLA v2で2Mフレームの公式訓練データを収集し、7種のベースラインを実装・評価したところ、専門家特徴蒸留付き手法が高成績であり、オープンループ指標は閉ループ性能を反映しないことを示した。
- 44の対話シナリオ・220ルート（各約150m）をCARLA v2上で走行し、合流・追越など5技能を分離評価する閉ループベンチマークを構築した。
- 7種のベースラインを実装・評価し、最高はDriveAdapter*でDriving Score 64.22・成功率33.08%（論文 Table 3）。
- オープンループのL2誤差は閉ループ性能と相関せず、UniAD-BaseのL2はVADより低い（0.73 vs 0.91）がDriving Scoreは45.81 vs 42.35で逆転する。
- 評価はCARLA v2のシミュレーションのみで実世界とのギャップが残り、全モデルはbaseサブセット（1000クリップ）学習であるためfullデータでの効果は未検証。
課題
既存のE2E-AD評価は、nuScenesを用いたオープンループ評価が主流で、L2誤差と衝突率を指標としていたが、分布シフトや因果混乱のため実際の運転性能を反映しない。閉ループ評価（CARLA Leaderboard等）は長距離ルートで運転スコアの分散が大きく、また各手法が独自にデータ収集するためアルゴリズムレベルの公平比較が不可能だった。
提案手法
Bench2Driveは、CARLA v2上で44の対話シナリオ（割り込み、追越、迂回など）・23天候・12タウンにわたり、Think2Driveを用いて2Mフレーム、13638クリップの公式訓練データを収集した。センサー構成はnuScenes類似（6カメラ、LiDAR 64ch、レーダー5、IMU/GNSS、HDマップ）。評価は各シナリオ5ルート（計220ルート、各約150m）で行い、成功率和（SR）と運転スコア（DS）に加え、効率（周囲車両との速度比）と快適性（nuPlanのスムーズネス指標を20フレーム区間で評価）を指標化した。データはmini（10クリップ）・base（1000クリップ）・full（10000クリップ）の3段階を用意し、ベースラインとしてAD-MLP、UniAD、VAD、TCP、ThinkTwice、DriveAdapterをbaseセットで学習・実装した。
評価と結果
ベースラインはBench2Drive baseサブセット（1000クリップ、うち950学習・50検証）で学習し、CARLA v2の220ルートで閉ループ評価した。最高性能はDriveAdapter*（Driving Score 64.22、成功率33.08%、効率70.22、快適性16.01）であり、TCP-traj*（DS 59.90、SR 30.00）が続いた。AD-MLPはDS 18.05、SR 0.00と最悪だった。オープンループのL2誤差と閉ループのDSは相関せず、UniAD-Base（L2 0.73、DS 45.81）とVAD（L2 0.91、DS 42.35）で順位が逆転した。技能別の表4では、全モデルでMerging・Overtaking・Emergency Brakeの成功率が低く、対話的な行動の学習が困難であることが示された。
Bench2Drive baseセットで学習したE2E-AD手法のオープンループ・クローズドループ評価（論文 Table 3）
| 手法 | Avg. L2 | Driving Score | Success Rate(%) | Efficiency | Comfortness |
|---|---|---|---|---|---|
| AD-MLP | 3.64 | 18.05 | 0.00 | 48.45 | 22.63 |
| UniAD-Tiny | 0.80 | 40.73 | 13.18 | 123.92 | 47.04 |
| UniAD-Base | 0.73 | 45.81 | 16.36 | 129.21 | 43.58 |
| VAD | 0.91 | 42.35 | 15.00 | 157.94 | 46.01 |
| TCP* | 1.70 | 40.70 | 15.00 | 54.26 | 47.80 |
| TCP-ctrl* | - | 30.47 | 7.27 | 55.97 | 51.51 |
| TCP-traj* | 1.70 | 59.90 | 30.00 | 76.54 | 18.08 |
| TCP-traj w/o distillation | 1.96 | 49.30 | 20.45 | 78.78 | 22.96 |
| ThinkTwice* | 0.95 | 62.44 | 31.23 | 69.33 | 16.22 |
| DriveAdapter* | 1.01 | 64.22 | 33.08 | 70.22 | 16.01 |
Bench2Drive 220ルートにおけるDriving Score比較
Bench2Drive 220ルートにおけるSuccess Rate比較
新規性
閉ループ環境でE2E-ADの複数の運転能力（合流・追越・緊急ブレーキ・道ゆずり・交通標識）を分離評価できる最初のベンチマークであり、公開された大規模公式訓練データにより公平な比較を実現した点。
限界
著者は限界として、CARLAのレンダリングと実世界のギャップを挙げ、実データセットとの併用や生成モデルの可能性に言及している。また、データ収集にThink2Driveの専門家特徴を用いており、蒸留の有無が性能に大きく影響するため、蒸留なしの実世界応用には課題が残る。評価はシミュレーションのみで実車検証はなく、ベースラインはbaseサブセットでの学習であり、fullデータでの性能は未報告。計算コストは表5に示され、UniAD-baseは8×H800で9日、評価は8×H800で2日と大規模である。著者はこのコストを明示していないが、論文の表から読み取れる。その後の研究では、実データに基づくデータ駆動シミュレータ（例: NAVSIM）が提案され、シミュレーションと実世界のギャップを縮小する方向性が模索されている。
産業へのインパクト
この論文は、E2E-ADの性能を閉ループで多面的に評価する枠組みを業界に提供した。オープンループ評価が主流だった当時、運転技能を分離して診断できることは、システムの弱点特定を容易にし、公式訓練データの標準化によりアルゴリズムレベルの公平比較を可能にした。現在ではBench2Driveの評価プロトコルは閉ループE2E-AD比較の一般的な手段として普及しており、日本の自動車産業にとっては研究開発での性能評価ツールとしての意義が大きい。ただし、評価環境がCARLA v2に限定されるため、実車開発への直接適用は限定的である。