ORION: 視覚言語による指示付き行動生成を用いた包括的エンドツーエンド自動運転フレームワーク

ORION: A Holistic End-to-End Autonomous Driving Framework by Vision-Language Instructed Action Generation

本文精読エンドツーエンド基盤モデル計画

Haoyu Fu, Diankun Zhang, Zongchuang Zhao, Jianfeng Cui, Dingkang Liang, Chong Zhangほか／ arXiv:2503.19755 ／ PDF

2025-03-25 投稿

AI が本文を読んで生成（2026-08-04）

1分まとめ

VLM の推論空間と軌跡の行動空間を VAE 生成的プランナーで橋渡しするエンドツーエンド自動運転フレームワーク ORION を提案した。Bench2Drive クローズドループ評価で DS 77.74、SR 54.62% を達成し、従来 SOTA の DriveTransformer を DS +14.28、SR +19.61 ポイント上回った。

VLM の推論空間と軌跡の行動空間のギャップを埋めるため、プランニングトークンを条件とした VAE 生成的プランナーを導入し、推論と軌跡生成を E2E で最適化するフレームワークを提案した。
Bench2Drive クローズドループ評価で DS 77.74、SR 54.62% を達成し、従来 SOTA の DriveTransformer を DS で14.28、SR で19.61ポイント上回った。
評価は Bench2Drive（CARLA V2）シミュレーションのみで、実車・実データでの検証はない。nuScenes オープンループ評価では L2 0.34m と競争的だが、他の VLM 手法と比べ最良ではない。
VLM の計算量が大きく、学習に 32×A800 を用いており、リアルタイム性は未実証。後続の VLM×E2E 研究は、この「生成的プランナー」による接続方式を参照するようになった。

課題

エンドツーエンド自動運転はオープンループ評価では高い性能を示すが、クローズドループの対話的な判断では因果推論が弱く誤る。VLM の意味推論を活用しようとする試みは、VLM の推論空間（テキスト）と軌跡の数値空間のギャップに直面する。既存手法はテキストで軌跡を直接出力するか、メタ行動（例：左折）を介して従来の E2E モデルを支援する方式であり、前者は数値計算が苦手で単一結果しか出せず、後者は二つの空間が分離され協調的最適化ができない。

提案手法

ORION は3つの要素で構成される。まず QT-Former がマルチビュー画像特徴を圧縮し、メモリバンクと履歴クエリで長期文脈を集約する。次に LLM（Vicuna v1.5 を LoRA でファインチューニング）がシーン記述・履歴レビュー・シーン分析・行動推論を行い、最後の QA でプランニングトークンを生成する。最後に生成的プランナー（VAE）がプランニングトークンと軌跡の真値をそれぞれガウス分布に射影し、KL 距離で分布を一致させたうえで GRU デコーダにより軌跡を生成する。学習は3段階（視覚言語アライメント→言語行動アライメント→E2Eファインチューニング）で、VQA タスクと計画タスクを同時最適化する。Bench2Drive のベースセット（1000クリップを950/50に分割）を使用し、HD マップなし、ナビゲーションコマンドのみを入力とする。

評価と結果

Bench2Drive クローズドループ評価（220ルート、44シナリオ）で DS 77.74、SR 54.62%、Efficiency 151.48、Comfortness 17.38 を達成し、DriveTransformer 比 +14.28 DS、+19.61% SR と報告している。Multi-Ability 平均は 54.72% で、DriveTransformer の 38.60% を +16.12 上回る。アブレーションでは、出力形式を plain text にすると 42.23 DS / 13.14% SR、MLP デコーダでは 70.73 DS / 45.12% SR となり、VAE 生成的プランナーの優位を示した。nuScenes オープンループ評価（Appendix）では L2 平均 0.34m、衝突率 0.37% を報告しているが、他の VLM 手法（Senna の L2 0.22m など）と比べ suboptimal であると論文に明記されている。

Bench2Drive クローズドループ評価の比較（ベースセット）

手法	条件	モダリティ	DS↑	SR(%)↑	Efficiency↑	Comfortness↑	Avg. L2↓
TCP-traj*	TP	C	59.90	30.00	76.54	18.08	1.70
DriveAdapter*	TP	C&L	64.22	33.08	70.22	16.01	1.01
VAD	NC	C	42.35	15.00	157.94	46.01	0.91
GenAD	NC	C	44.81	15.90	-	-	-
DriveTransformer-Large	NC	C	63.46	35.01	100.64	20.78	0.62
ORION	NC	C	77.74	54.62	151.48	17.38	0.68

Table 1 より。ベースセット1000クリップで学習。TP は target point、NC は navigation command、C は camera、L は LiDAR。* は expert feature distillation。

軌跡出力形式の比較：Driving Score

Fig. 5 より。同一の QT-Former・VLM 構成で出力形式のみ変更した比較。値が高いほど良い。

軌跡出力形式の比較：Success Rate (%)

Fig. 5 より。同一構成で出力形式のみ変更した比較。値が高いほど良い。

新規性

新規性は、VLM の推論空間と軌跡の行動空間のギャップを埋めるために VAE 生成的プランナーを導入し、プランニングトークンを条件とした軌跡分布の生成を E2E で最適化した点にある。既存のテキスト出力やメタ行動連携の組み合わせではなく、新しい接続方式を提案している。

限界

著者は「VLM の計算複雑度が高くリアルタイム運転には不向き」と明記している。また nuScenes オープンループ評価では他の VLM 手法と比べ最良ではなく、VAE の潜在空間が単峰性の nuScenes 軌跡分布に適していないと考察している。評価は Bench2Drive シミュレーション（CARLA V2）のみで、実車・実データでの検証はない。学習に 32×A800（80GB）を用いており、計算コストは大きい。アブレーションの比較は同一構成だが、表に示したベースラインの数値は各論文の報告値であり、実装差が含まれる可能性がある点は著者による言及がない。

産業へのインパクト

この論文は、VLM の意味推論を軌跡生成の条件として使う「生成的プランナー」という接続方式を導入し、VLM ベース E2E 自動運転のクローズドループ性能を大きく引き上げた。後続の VLM×E2E 研究は、テキスト出力か、メタ行動を介するか、あるいは生成モデルで潜在空間を橋渡しするか、という設計選択をこの論文の枠組みを参照して行うようになった。ただし、VLM の計算コストは依然として課題であり、リアルタイム制約のある車載への適用は難しい。

← 一覧に戻る