DriveLM: グラフ型視覚質問応答による自動運転
1分まとめ
認識・予測・計画をグラフ構造のQAペアとして接続するGraph VQA（GVQA）を提案し、VLMをエンドツーエンド自動運転に適用する基盤を確立した。DriveLM-AgentはnuScenesのオープンループ計画でUniAD-Singleを上回り、未見センサ構成へのゼロショット一般化で差を広げた。
- 認識・予測・計画のQAを論理依存で結ぶGraph VQA（GVQA）を新タスクとして定義し、nuScenes由来のDriveLM-nuScenesとCARLA由来のDriveLM-CARLAを構築した。
- BLIP-2を基盤とするDriveLM-Agentは、nuScenesのオープンループ計画でADE 1.39mを達成し、同じ単一フレーム条件のUniAD-Single（ADE 1.80m）を上回った。
- nuScenesのみで訓練したモデルをWaymoにゼロショット適用したとき、Graph構造で速度予測精度が43.90%から54.29%に向上し、グラフ文脈の寄与が顕著だった。
- 評価はオープンループのシミュレーション中心であり、推論コストはUniAD比で約10倍（FPS 0.16）と高く、実車適用にはその後の最適化が必要とされた。
- この論文は運転用VQAを単発QAからグラフ推論へと一般化する枠組みを確立し、その後の多段推論型VLM運転モデルのベンチマーク基盤として定着した。
課題
自動運転へのVLM適用は、シーン全体を一文で説明するシーンレベルVQAか、単一物体への「what-which-where-how-why」型の単一物体VQAにとどまっていた。人間が複数物体を認識し、相互作用を予測し、行動に統合する多段階の推論過程を模倣するタスク設定が存在せず、VLMのゼロショット一般化能力を運転計画に活かす枠組みがなかった。
提案手法
GVQAでは、各QAペアを頂点とし、物体レベル（物体間の相互作用）とタスクレベル（認識→予測→計画→行動→運動）の論理依存を有向枝で表す。DriveLM-nuScenesは4,871フレーム（訓練4,072／検証799）に1フレーム平均91.4 QAを備え、認識144k／予測153k／計画146kのQAをグラフ構造で提供する。DriveLM-CARLAはLeaderboard 2.0向けルールベース専門家PDM-Liteを新規構築し、全38シナリオを処理する。DriveLM-AgentはBLIP-2を基盤とし、親QAを「Context:」として子質問に連結するグラフプロンプトと、軌道を256ビンに量子化する軌道トークン化（RT-2方式）で、行動記述を中間表現として軌道を出力する。
評価と結果
DriveLM-nuScenesのオープンループ計画評価（キーフレームのみ）で、DriveLM-Agent（Graph）はADE 1.39m／衝突率1.89%を達成し、UniAD-Single（ADE 1.80m／衝突率2.62%）を上回った。Waymo検証1,000フレームへのゼロショット適用では、DriveLM-Agent（Graph）はADE 2.63m／衝突率6.17%でUniAD-Single（ADE 4.16m／衝突率9.31%）を大きく上回り、速度予測精度は43.90%（None）から54.29%（Graph）に向上した。P1−3のVQA性能はDriveLM-nuScenesでSPICE 49.54、GPT Score 72.51であり、CARLAではSPICE 75.26、GPT Score 81.78だった。
DriveLM-nuScenesとWaymoにおけるオープンループ計画性能（Table 2）
| 手法 | データセット | ADE (m) ↓ | 衝突率 (%) ↓ |
|---|---|---|---|
| Command Mean | nuScenes | 4.57 | 5.72 |
| UniAD-Single | nuScenes | 1.80 | 2.62 |
| BLIP-RT-2 | nuScenes | 2.63 | 2.77 |
| DriveLM-Agent (Graph) | nuScenes | 1.39 | 1.89 |
| Command Mean | Waymo | 7.98 | 11.41 |
| UniAD-Single | Waymo | 4.16 | 9.31 |
| BLIP-RT-2 | Waymo | 2.78 | 6.47 |
| DriveLM-Agent (Graph) | Waymo | 2.63 | 6.17 |
ゼロショット適用時の速度予測精度とADE（Table 2抜粋）
新規性
既存のVQA手法にグラフ構造の論理依存を導入したGVQAのタスク定義と、VLMをエンドツーエンド運転に適用するためのデータセット・評価指標・ベースラインを一式で提供した点が新規性である。
限界
著者は(1)推論コスト（UniAD比約10倍、FPS 0.16）、(2)低解像度の単一前方カメラのみでLiDARや360度・時系列情報を扱えないこと、(3)オープンループ評価のみでクローズドループ未実施、を明記している。加えて、DriveLM-nuScenesは単一データセット由来であり、P1−3のVQA評価はGPT-3.5による主観スコアとSPICEに依存する。当時はベースラインが確立しておらず、この論文が基準を提供した。その後の研究では、より大きなVLM・動画入力・クローズドループ評価（LMDrive等）や、DriveLMを評価ベンチマークとして用いる流れに発展した（具体名は本文にないため推測の域を出ない）。
産業へのインパクト
この論文は、運転用VQAを「単発の質問応答」から「グラフ構造の論理推論」へ拡張する枠組みを確立した。言語を介した多段階推論がゼロショット一般化に寄与することを実証し、その後のVLM運転モデルがDriveLMをデータセット・ベンチマークとして参照する基盤を作った。日本の自動車産業にとっては、VLMを実車の計画スタックに組み込む際の「認識・予測・計画の出力を自然言語で接続する」設計パターンの原点として重要である。ただし推論コストとオープンループ評価の限界は、実装にあたり引き続き考慮すべき点である。