LMDrive: 大規模言語モデルによるクローズドループ・エンドツーエンド自動運転

LMDrive: Closed-Loop End-to-End Driving with Large Language Models

本文精読エンドツーエンド基盤モデルVLAデータセット

Hao Shao, Yuxuan Hu, Letian Wang, Steven L. Waslander, Yu Liu, Hongsheng Li ／ arXiv:2312.07488 ／ PDF

2023-12-12 投稿・2023-12-21 改訂

AI が本文を読んで生成（2026-08-04）

1分まとめ

LMDriveは、自然言語指示とマルチモーダルセンサデータを入力とし、制御信号を直接生成するクローズドループ・エンドツーエンド自動運転モデルであり、著者らはLLMをクローズドループ運転に組み込んだ初の研究と主張している。CARLA上のLangAutoベンチマークで、LLaVA-v1.5バックボーン使用時にDS 36.2を達成した。

LLMをクローズドループのエンドツーエンド自動運転に適用したLMDriveを提案し、著者らはこの方式を初の試みと報告している。
LangAutoベンチマークで、LLaVA-v1.5バックボーン使用時にDS 36.2、RC 46.5、IS 0.81を達成した。
約64KクリップのデータセットとLangAutoベンチマークを公開し、その後の言語条件付き自動運転研究の共通評価基盤を提供した。
評価はCARLAシミュレータのみで、実車・実道路での検証は行われていない。
視覚エンコーダは事前学習後に凍結されるため、LLMと視覚エンコーダの完全なエンドツーエンド学習にはなっていない。

課題

既存の自動運転手法はセンサデータやウェイポイントなどの固定形式の入力に依存し、自然言語での指示理解や人間との対話ができなかった。また、LLMを運転に活用した先行研究はオープンループ評価に留まり、累積誤差や時間的一貫性を考慮できていなかった。クローズドループでLLMをエンドツーエンドに組み込んだ自動運転手法は存在しなかった。

提案手法

LMDriveは、マルチビューカメラ（4台）とLiDARを入力とする視覚エンコーダと、凍結したLLM（LLaMA系列、7Bパラメータ）を組み合わせる。視覚エンコーダは物体検出・将来ウェイポイント予測・信号状態分類の3タスクで事前学習し、その後凍結される。各フレームの視覚トークンはQ-Formerで4トークンに削減され、LLMに入力される。LLMは自然言語指示と視覚トークンから将来ウェイポイントと指示完了フラグを予測し、PIDコントローラでブレーキ・スロットル・ステアリング制御量を生成する。学習は視覚エンコーダの事前学習と、言語指示付きデータによるQ-Former・アダプタのファインチューニングの2段階で構成される。

評価と結果

評価はCARLA 0.9.10.1上のクローズドループベンチマークLangAuto（LangAuto、LangAuto-Short、LangAuto-Tinyの3トラック）で実施された。指標は運転スコア（DS）、ルート完了率（RC）、違反スコア（IS）であり、比較対象としてRandom Init、LLaMA、LLaMA2、Vicuna、Vicuna-v1.5、LLaVA-v1.5の6種のLLMバックボーンを用いた。最良のLLaVA-v1.5でDS 36.2、RC 46.5、IS 0.81を達成した。アブレーションでは、Q-Formerを削除するとDS 31.7、BEVトークンを削除するとIS 0.72、視覚エンコーダの事前学習を削除するとDS 16.9に低下した。Notice指示付き評価では、LLaVA-v1.5でISが0.81から0.87に、車両衝突が0.33から0.17（1kmあたり）に減少した。連続指示（LangAuto-Sequential）ではDSが36.2から34.0に低下した。

LangAutoベンチマークにおけるLLMバックボーンの比較

LLMバックボーン	DS↑	RC↑	IS↑
Random Init.	10.7±3.8	16.2±4.9	0.63±0.04
LLaMA	31.3±1.5	37.1±1.6	0.82±0.01
LLaMA2	32.8±2.1	40.1±2.2	0.81±0.02
Vicuna	33.5±1.9	39.3±1.9	0.83±0.02
Vicuna-v1.5	34.0±3.8	39.0±3.3	0.85±0.06
LLaVA-v1.5	36.2±2.3	46.5±4.3	0.81±0.03

Table 2より。いずれも7BパラメータのLLMバックボーン。数値は3回の評価実行の平均±標準偏差。LMDriveのフレームワークに各LLMを適用した比較であり、非言語のエンドツーエンド手法との直接比較ではない。

モジュール設計のアブレーション（DS）

Table 3より。BaselineはLLaVA-v1.5バックボーン使用時のLMDrive。数値はDS（運転スコア）。

Notice指示の有無によるInfraction Scoreの変化

Table 4より。IS（違反スコア）は値が大きいほど良い。LangAutoはナビゲーション指示のみ、LangAuto-Noticeは追加でNotice指示を与える評価。

学習時サンプルレートによるDSの変化

Supplementary Table 6より。LangAuto-Shortでの結果。サンプルレートは学習時にフレームを間引く間隔。

新規性

既存のLLMベース運転研究がオープンループ評価に留まっていたのに対し、クローズドループ環境で言語指示とマルチモーダルセンサデータを統合したエンドツーエンド自動運転を初めて実現したと報告している点。

限界

著者による明示的なlimitationsの記述はない。論文から読み取れる制約として、評価がCARLAシミュレータのクローズドループのみであり、実車・実道路での検証は行われていない。データセットはCARLAで収集された合成データのみで実データは含まれない。視覚エンコーダは事前学習後に凍結され、LLMと視覚エンコーダの完全なエンドツーエンド学習ではない。また、7BパラメータのLLMを使用するため推論コストが高く、車載実装には計算資源の制約がある。さらに、言語条件付きの先行研究（DRIVEGPT4など）はオープンループ評価であり、クローズドループでの直接比較は行われていない。

産業へのインパクト

この論文は、著者らが初と報告する通り、LLMをクローズドループのエンドツーエンド自動運転に組み込んだ最初の研究として、自然言語指示で運転行動を制御する研究分野を開いた。公開されたLangAutoベンチマークと約64Kクリップのデータセットは、その後の言語条件付き自動運転研究の標準的な評価基盤として位置づけられた。一方で、評価はシミュレータのみであり、実車適用には安全性検証や計算コストの課題が残った。

← 一覧に戻る