Senna: 大規模視覚言語モデルとエンドツーエンド自動運転を橋渡しする
1分まとめ
LVLMが高レベルの運転判断（メタアクション）を言語で出力し、E2Eモデルが軌跡を予測する2段構えの構造化プランニングを提案した。DriveX事前学習+nuScenesファインチューニングにより、平均プランニング誤差を27.12%、衝突率を33.33%削減したと報告している。
- LVLMに軌跡や制御信号を直接予測させるのではなく、言語による高レベル判断（メタアクション）を介してE2Eモデルに接続する構造化プランニングを提案した。
- nuScenes検証セットで、DriveX事前学習なしのSennaと比較して、平均プランニング誤差を27.12%、平均衝突率を33.33%削減したと報告している。
- DriveX検証セットで、他手法（QwenVL、VILA、LLaVA-1.5のDriveXファインチューン）と比較して、プランニング精度を71.21%と報告しており、最高性能の他手法比で10.44%向上した。
- 評価はnuScenesとDriveXのオープンループのみで、クローズドループでの実証は含まれていない。
- 当時はLVLMとE2Eモデルの統合方法が模索されており、言語判断を中間表現にすることでLVLMの数値予測の弱点を回避した点が、その後の標準的な設計の1つとなった。
課題
エンドツーエンド自動運転は大規模データで高いプランニング性能を示すが、常識推論が不足しており複雑・稀なシナリオで誤る。一方LVLMはシーン理解と推論に優れるが、精密な数値予測（軌跡点や制御量）が苦手で、LVLMを直接プランナーに使うと性能が劣る。
提案手法
SennaはLVLM（Senna-VLM）とE2Eモデル（Senna-E2E）を直列に接続するシステムである。Senna-VLMはサラウンドビュー6カメラの画像列を入力とし、高レベル運転判断をメタアクション（横方向: Left/Straight/Right、縦方向: Accelerate/Keep/Decelerate/Stop）の自然言語で予測する。メタアクションは学習可能な埋め込み（Meta-action Encoder）で高次元特徴に変換され、Senna-E2E（VADv2を拡張）に入力される。Senna-E2Eは認識・予測・プランニングを担い、メタアクション特徴を条件として最終軌跡を予測する。Senna-VLMの学習には、GPT-4oで自動生成したシーン記述、交通信号検出、VRU識別、他車の運動意図予測、メタアクション計画、計画説明の6種類のプランニング指向QAを導入した。さらに3段階学習（Mix Pre-training、Driving Fine-tuning、Planning Fine-tuning）を提案した。Vision EncoderはCLIP ViT-L/14、LLMはVicuna-v1.5-7b。画像トークンは各画像128個に圧縮するDriving Vision Adapterを導入した。
評価と結果
評価はnuScenes検証セットとDriveX検証セットで実施（いずれもオープンループ）。DriveXは1000Kクリップ（3秒/クリップ）の大規模データセットで、800kを学習・200kを検証に使用。高レベル判断は精度とF1、シーン記述はBLEU-4/CIDEr/METEOR、軌跡プランニングはL2変位誤差と衝突率で評価した。nuScenesの軌跡プランニングでは、ego status特徴を使用しない設定で、DriveX事前学習+nuScenesファインチューニングによりSennaは平均L2=0.43m、平均衝突率=0.12%を達成し、VADベースライン比で平均L2を40.28%、平均衝突率を45.45%削減した。同一条件のDriveVLM*（ego statusあり）と比較すると平均L2を29.03%、平均衝突率を20.00%削減した。DriveX検証セットでは、Sennaは平均L2=2.62mで、VADv2（メタアクションなし）の3.10mと比較して14.27%削減した。
nuScenes検証セットにおける軌跡プランニング性能（オープンループ）
| 手法 | ego status | 平均L2 (m) ↓ | 平均衝突率 (%) ↓ |
|---|---|---|---|
| IL [66] | - | 1.35 | 0.77 |
| UniAD [2] | - | 1.03 | 0.31 |
| VAD-Base [3] | なし | 0.72 | 0.22 |
| VAD-Base* [3] | あり | 0.37 | 0.14 |
| DriveVLM* [27] | あり | 0.31 | 0.10 |
| Senna* | あり | 0.22 | 0.08 |
| Senna | なし | 0.59 | 0.18 |
| Senna† | なし | 0.43 | 0.12 |
nuScenes検証セットにおける平均プランニングL2誤差
nuScenes検証セットにおける平均衝突率
DriveX検証セットにおける画像トークン数とプランニング精度
新規性
LVLMの出力を軌跡ではなく言語のメタアクションに限定し、それをE2Eモデルへの条件付け特徴として接続する構造化プランニングを新規に提案した点。
限界
著者は推論遅延がリアルタイム要件を満たさない可能性を明記している（Senna-VLMのデコード遅延は0.58秒/画像128トークン、RTX 4090）。評価はオープンループのL2誤差と衝突率のみで、クローズドループ（シミュレーションや実車）での安全性検証は行われていない。DriveXは著者らが提案したデータセットで、外部ベンチマークではない。比較対象のDriveVLMは同一設定での再実装であり、元論文の数値とは異なる可能性がある。後続研究では、LVLMを直接軌跡予測に使う方式や、より軽量なVLMによるリアルタイム化、クローズドループ評価が進められたが、本論文の時点では未検証である。
産業へのインパクト
この論文は、LVLMとE2Eモデルの統合において「言語による高レベル判断」を中間表現とする設計を確立した。それまでの主流はLVLMに軌跡点や制御信号を直接予測させる方式だったが、SennaはLVLMの数値予測の弱点を回避しつつ、E2Eモデルの精密な軌跡予測能力を活かす構造化プランニングを打ち出した。この「VLMが判断・E2Eが軌跡」という役割分担は、その後のVLM×自動運転研究の標準的な設計の1つとなり、現在でも多くのシステムに引き継がれている。また、自動アノテーションによるプランニング指向QAと3段階学習は、大規模データでLVLMを運転タスクに適応させる方法論として影響を与えた。