DriveVLM: 自動運転と大規模視覚言語モデルの融合
1分まとめ
VLM（視覚言語モデル）を自動運転のシーン理解と計画に用いるDriveVLMと、従来パイプラインと組み合わせたDriveVLM-Dualを提案した。nuScenesのオープンループ計画評価でL2誤差平均0.31m、衝突率平均0.10%を報告し、当時の最先端を更新した。
- VLMにCoT（連鎖推論）でシーン記述・シーン分析・階層的計画を出力させるDriveVLMと、従来の3D認識・プランナと組み合わせたDriveVLM-Dualを提案した。
- nuScenesのオープンループ計画評価でDriveVLM-Dual（VAD併用）はL2平均0.31m・衝突率平均0.10%を達成し、UniAD（L2平均1.03m・衝突率平均0.31%）を上回った。
- 長尾物体・困難シナリオを採掘して作った自社データセットSUP-ADでは、DriveVLMのシーン記述スコア0.71がGPT-4Vの0.38を上回った。
- ただしnuScenesでの評価はオープンループ（実車非搭載）であり、SUP-ADは非公開・単一企業のデータで、他手法との直接比較はシーン記述とメタアクションのみ。
- 実車搭載ではOrinX上で推論410msを報告するが、VLM単体の計画ではなく高周波プランナによる軌道補正が前提で、VLMの空間認識の弱さは補完される設計になっている。
課題
都市部の自動運転では、悪天候や複雑な道路形状、予測不能な人間行動などのロングテールなシーン理解が課題。従来の3D認識は既知物体の検出・追跡に限られ、稀な物体や物体間の意図レベルの相互作用を捉えられない。行動予測や計画も軌道レベルのタスクに集中しており、判断レベルの相互作用を扱えていない。
提案手法
DriveVLMはQwen-VL（約96億パラメータ）を基盤とし、画像シーケンスを入力として、シーン記述（環境記述と重要物体の同定）、シーン分析（重要物体の静的属性・運動状態・特定行動と自車への影響）、階層的計画（メタアクション17種の系列、判断記述、軌道ウェイポイント）をCoTで順に生成する。DriveVLM-Dualは、3D物体検出の結果を2Dに投影して重要物体とIoUマッチングし、位置・向き・履歴軌跡を言語プロンプトとしてVLMに与える。さらにVLMの低周波軌道を従来プランナの初期解（最適化ベース）または入力クエリ（ニューラルベース）として高周波軌道にリファインする。データセットSUP-ADは、CLIPベースの検索でロングテール物体を、運転操作の変化で困難シナリオを採掘し、キーフレームの0.5〜1秒前を選んでアノテーションした1,000クリップで構成。評価指標はGPT-4によるシーン記述スコア（完全一致1.0、部分一致0.5、幻覚-0.25）と、動的計画法によるメタアクション系列スコアを定義した。
評価と結果
SUP-ADテストセットのシーン記述／メタアクションスコアで、DriveVLM（Qwen）は0.71／0.37。比較対象はファインチューニングしたLynx（0.46／0.15）、CogVLM（0.49／0.22）、インコンテキスト学習のGPT-4V（0.38／0.19）。nuScenesバリデーションのオープンループ計画評価では、DriveVLM単体がL2平均0.40m・衝突率平均0.27%、VADと組み合わせたDriveVLM-DualがL2平均0.31m・衝突率平均0.10%で、比較対象のUniAD（1.03m／0.31%）、VAD（0.37m／0.14%）を上回った。アブレーションでは、CoTなしベース（0.49m／0.36%）に重要物体分析（0.44m／0.35%）、3D認識統合（0.40m／0.27%）と段階的に改善。DriveVLM-DualはUniAD・MLP・VADのいずれと組み合わせてもL2平均0.31〜0.39mに収束した。実車搭載ではOrinX 2枚構成で平均推論410ms。
nuScenesバリデーションセットでのオープンループ計画性能
| 手法 | L2平均 (m) ↓ | 衝突率平均 (%) ↓ |
|---|---|---|
| UniAD (2023) | 1.03 | 0.31 |
| VAD (2023) | 0.37 | 0.14 |
| DriveVLM | 0.40 | 0.27 |
| DriveVLM-Dual (VAD) | 0.31 | 0.10 |
SUP-ADテストセットでのシーン記述・メタアクションスコア
nuScenesオープンループ評価でのL2誤差（平均）
新規性
VLMにCoT推論でシーン記述・シーン分析・階層的計画を出力させる独自のモジュール構成と、従来パイプラインと組み合わせるデュアルシステム、および長尾シーンに特化したデータセット構築と評価指標を一式で提案した点。
限界
著者による明示的なlimitations節はない。読み取れる制約として、(1) nuScenesの計画評価はオープンループであり、軌道のフィードバック制御やクローズドループ評価は行われていない。(2) 比較対象のNMP・SA-NMPは2019年、FF・EO・ST-P3は2021〜2022年と古く、当時最先端のUniAD・VADが中心的な比較対象である。(3) SUP-ADは非公開で1,000クリップ・40カテゴリと規模が小さく、検証が自社データに依存している。(4) VLMの出力するウェイポイントの精度は従来の3Dパイプラインに比べて劣り、DriveVLM-Dualの性能は高周波プランナの品質に依存する。(5) 実車搭載はデモ動画であり、衝突回避性能や長期間の安定性は定量的に示されていない。後続研究では、VLMの空間認識を強化した手法や、クローズドループ評価、より大規模な運転QAベンチマークが発展しており、本論文のCoTによる解釈可能性と従来パイプラインとの融合は、その後のVLMベース運転システムの標準的な構成要素となった。
産業へのインパクト
この論文は、VLMを自動運転のシーン理解と計画に組み込む際の基本的な設計——CoTによるシーン記述・分析・階層的計画と、従来の3D認識・プランナとのデュアルシステム構成——を確立した。長尾シーンの言語による記述と、低周波のVLM軌道を高周波プランナでリファインする構成は、その後の多くのVLM×自動運転研究が踏襲した標準的な枠組みになった。また、SUP-ADのデータ採掘・アノテーションパイプラインとGPT-4による評価指標は、運転言語データセットの設計指針として参照されている。