計画指向の自動運転
1分まとめ
計画を最終目的として認識・予測の5タスクをクエリベースのインターフェースで単一ネットワークに統合したエンドツーエンドの自動運転フレームワークUniADを提案した。nuScenes検証セットで計画L2誤差を平均1.03m（ST-P3比で51.2%減）、衝突率を0.31%（同56.3%減）まで低減した。
- 検出・トラッキング、オンラインマッピング、モーション予測、占有予測、計画の5タスクを単一ネットワークに統合したUniADを提案した。
- 計画L2誤差は平均1.03mでST-P3の2.11mから51.2%減少し、衝突率は0.31%で56.3%減少した。
- モーション予測はminADE 0.71mを達成し、PnPNetの1.15mから38.3%改善した。
- 評価はnuScenes検証セットのみのオープンループで、実車やクローズドループの検証は行われていない。計算量は1709G FLOPs・1.8FPS（A100）で実時間性に課題がある。
- 計画を最終目的として認識・予測を統合する設計思想は、その後の自動運転システム研究の標準的な雛形となった。
課題
従来の自動運転システムは認識・予測・計画を順に並べるモジュール方式が主流で、産業ソリューションではタスクごとに独立モデルを配置する。これはモジュール間の情報損失、誤差の累積、最適化目標の分断による特徴の不整合を招く。共有バックボーンとタスク別ヘッドによるマルチタスク学習は負の転移のリスクがある。また入力を直接計画軌道へ写像するアプローチは安全性保証と解釈性が不十分で、都市部の高ダイナミクスには不向きである。既存の部分統合手法はトラッキングやオンラインマッピング、占有予測の一部が欠けており、計画に必要なタスクが揃っていなかった。
提案手法
UniADは4つのトランスフォーマーデコーダベースの認識・予測モジュールと1つのプランナーで構成される。マルチカメラ画像はBEVFormerでBEV特徴に変換する。TrackFormerは検出とマルチオブジェクトトラッキングをエンドツーエンドで実行し、自車を明示的にモデル化するego-vehicleクエリを持つ。MapFormerはレーン・区画線・横断歩道をthing、走行可能領域をstuffとするパノプティックなオンラインマッピングを行う。MotionFormerはシーン中心座標系でエージェント間・エージェントと地図・エージェントとゴール点の3種類のインタラクションをモデル化し、K=6のマルチモーダル軌跡を予測する。非線形最適化により不正確な認識結果を前提としても物理的に実現可能な軌跡を学習する。OccFormerはエージェント特徴と密集シーン特徴を注意機構で融合し、エージェントIDを保持した将来の占有グリッドを予測する。Plannerはego-vehicleクエリとナビゲーションコマンド埋め込みを結合し、BEV特徴に注意を払って計画軌道を生成し、占有予測に基づく衝突回避最適化を推論時のみに適用する。学習は認識モジュールの事前学習（6エポック）と全タスクのエンドツーエンド学習（20エポック）の2段階である。
評価と結果
評価はnuScenes検証セットで実施された。トラッキングはAMOTA 0.359でMUTR3D（0.294）より+6.5ポイント、ViP3D（0.217）より+14.2ポイント改善したが、tracking-by-detectionのImmortal Tracker（0.378）には及ばない。オンラインマッピングはレーンIoU 31.3でBEVFormer（23.9）より+7.4ポイント高い一方、走行可能領域IoUは69.1でBEVFormerの77.5より低い。モーション予測はminADE 0.71m・minFDE 1.02mで、PnPNet（1.15m・1.95m）より38.3%減、ViP3D（2.05m・2.84m）より65.4%減である。占有予測はIoU-near 63.4でFIERY（59.4）より+4.0ポイント、BEVerse（61.4）より+2.0ポイントである。計画は平均L2誤差1.03m・平均衝突率0.31%で、ST-P3（2.11m・0.71%）より51.2%減・56.3%減であり、LiDARベースのFF（1.43m・0.43%）やEO（1.60m・0.33%）も計画誤差では上回る。アブレーションでは、認識タスク追加でモーション予測のminADEが-9.7%、2つの予測タスク統合でminFDEが-5.8%となるなどタスク間協調の効果を示した。MTLベースラインとの比較ではminADE -15.2%、avg.L2 -0.15m、avg.Col -0.51%と計画指向設計の優位性を報告している。
nuScenesバリデーションセットにおける計画性能（Table 7 より）
| 手法 | 1s L2(m) | 2s L2(m) | 3s L2(m) | Avg L2(m) | 1s Col(%) | 2s Col(%) | 3s Col(%) | Avg Col(%) |
|---|---|---|---|---|---|---|---|---|
| FF | 0.55 | 1.20 | 2.54 | 1.43 | 0.06 | 0.17 | 1.07 | 0.43 |
| EO | 0.67 | 1.36 | 2.78 | 1.60 | 0.04 | 0.09 | 0.88 | 0.33 |
| ST-P3 | 1.33 | 2.11 | 2.90 | 2.11 | 0.23 | 0.62 | 1.27 | 0.71 |
| UniAD | 0.48 | 0.96 | 1.65 | 1.03 | 0.05 | 0.17 | 0.71 | 0.31 |
nuScenes検証セットにおけるモーション予測誤差の比較
nuScenes検証セットにおける3DマルチオブジェクトトラッキングのAMOTA
新規性
タスクの単純な多層化ではなく、計画を最終目的として認識・予測タスクを再構成し、クエリを統一インターフェースとして全モジュールを接続した点が新しい。既存要素（BEVFormer、MOTR、Panoptic SegFormer、FIERYなど）の組み合わせという側面はあるが、5タスクを統合し計画の安全性まで評価した包括的エンドツーエンドシステムは本論文が初である。
限界
著者は限界として、複数タスクの調整に多大な計算リソースが必要で、軽量デプロイメントの実現は将来課題であること、深さ推定や行動予測などの追加タスクの組み込みが将来方向であることを挙げている。論文から読み取れる制約として、評価がnuScenes検証セットのオープンループのみでクローズドループや実車の検証がないこと、カメラ入力に限定されBEVFormerバックボーンに依存すること、計算コストが1709G FLOPs・1.8FPS（A100）と大きいことがある。またトラッキングとマッピングは認識特化のSOTA手法に一部劣る。その後の研究ではより軽量な統合モデルや予測と計画の緊密な結合が進んだが、本論文はそれらの基盤となった。
産業へのインパクト
本論文は「計画指向」という設計思想を確立した点で、その後の自動運転研究の基準を定めた。当時のエンドツーエンドシステムは認識・予測を計画から分離するか、一部のタスクを欠く部分統合が一般的だった。UniADは計画を最終目標として全タスクを単一ネットワークで統合し、クエリベースのインターフェースでタスク間の情報共有を実現した最初期の包括的システムである。上流の認識が不完全でも下流の計画が回復できることを示し、以降の統合アプローチの雛形となった。nuScenesで計画L2誤差と衝突率を評価する構成も以後の慣行として定着した。日本の自動車産業の実装にとっては、モジュール別開発から計画目標で統合する開発へ移行する際の理論的根拠として参照される論文である。