DriveGPT4: 大規模言語モデルによる解釈可能なエンドツーエンド自動運転
1分まとめ
DriveGPT4は、LLMを基盤として動画入力から自然言語による車両挙動の説明・理由付けと、速度・操舵角の制御信号予測を同時に行う、解釈可能なエンドツーエンド自動運転システムの初期提案である。BDD-Xデータセット上で、従来のADAPTを複数指標で上回り、特に速度予測RMSEを3.02から1.30へ改善した。
- 多フレーム動画と質問を入力とし、LLM（LLaMA2）を用いて車両行動の説明・理由・制御信号予測を統一的に出力する、解釈可能なエンドツーエンド自動運転システムを提案した。
- BDD-Xテストセット全体の行動説明・理由付け合成タスクにおいて、従来SOTAのADAPTをCIDEr 85.38→99.10、ROUGE-L 43.04→44.73で上回った。
- 速度予測のRMSEをADAPTの3.02から1.30へ改善し、閾値精度A1.0は37.07%から79.92%へ向上した。
- 評価はBDD-X限定のオープンループ制御予測であり、クローズドループ走行性能や実車検証は行われていない。またGPT-4との比較は定性的な事例のみである。
- LLMを自動運転の解釈可能性と制御出力に直接用いた初期の研究として、以後のLLMベース自動運転研究の流れを作った。
課題
従来のエンドツーエンド自動運転はブラックボックスで判断理由を説明できず、解釈可能性の研究は小規模言語モデルを使うため応答が固定的で、質問応答性能も不十分だった。
提案手法
DriveGPT4は、フロントビュー単眼RGBカメラの8フレーム動画を入力とし、CLIPエンコーダとValley方式のビデオトークナイザで特徴を抽出。時間特徴は全フレームのグローバル特徴の連結、空間特徴はパッチ特徴のプーリングで表現し、プロジェクタでLLM（LLaMA2）のテキスト空間へ写像する。制御信号はテキストと同じトークン空間で扱い（RT-2に触発）、固定形式のテキストとして出力する。学習は2段階で、第1段階でCC3Mの593K画像テキスト対とWebVid-2Mの703K動画テキスト対でプロジェクタのみ事前学習（CLIPとLLMは固定）。第2段階で、BDD-Xに基づきChatGPTで生成した16K QAsと、YOLOv8の物体検出結果などの特権情報をChatGPTに入力して生成した40K QAsを合わせた56Kの自動運転ドメイン用命令追従データと、LLaVA・Valley由来の223K汎用命令追従データでLLMとプロジェクタを混合ファインチューニングする。
評価と結果
評価はBDD-Xデータセットのみで実施。テストはシーン難易度でEasy(1202)／Medium(295)／Hard(312)に分割。テキスト生成はCIDEr、BLEU4、ROUGE-Lで評価し、ベースラインはADAPT、Video-LLaMA、Valley。全テストセットの行動説明・理由付け合成では、DriveGPT4はCIDEr 99.10、BLEU4 18.32、ROUGE-L 44.73でADAPT（85.38／17.40／43.04）を上回った。行動説明単独ではCIDEr 256.03（ADAPT 227.93）、理由付け単独ではCIDEr 98.71（ADAPT 80.00）。追加QA（ChatGPT生成質問、100動画）ではCIDEr 56.34、BLEU4 22.94、ROUGE-L 31.70、ChatGPTスコア平均81.62で、Valley（11.37／5.01／11.09／43.23）を大きく上回った。制御信号予測（オープンループ、次ステップ）では、速度RMSE 1.30、A0.1 30.09%、A1.0 79.92%、操舵角RMSE 8.98（ADAPTは速度RMSE 3.02、操舵角RMSE 11.98）。消融実験ではChatGPT QAsまたはBDD-X QAsの片方を除くと対応する性能が低下し、混合ファインチューニングを除くと顕著に低下した。
BDD-X全体テストセットにおける制御信号予測の比較
| 手法 | 速度RMSE↓ | 速度A0.1↑ | 速度A1.0↑ | 操舵角RMSE↓ | 操舵角A0.1↑ | 操舵角A1.0↑ |
|---|---|---|---|---|---|---|
| ADAPT | 3.02 | 9.56 | 37.07 | 11.98 | 27.93 | 66.83 |
| DriveGPT4 | 1.30 | 30.09 | 79.92 | 8.98 | 59.23 | 72.89 |
BDD-X全体テストセットでのテキスト生成比較（CIDEr）
BDD-X追加QAでの評価比較
制御信号予測のRMSE比較
新規性
既存の動画理解MLLMとロボット制御のRT-2（制御信号をテキストとして扱う）のアイデアを自動運転に組み合わせ、ChatGPT生成の自動運転向け視覚命令追従データセットを作成して混合ファインチューニングした点が新規性である。
限界
著者らは、8フレーム入力のみでADAPTのような32フレーム入力に対応していないこと、メモリ消費と推論速度の問題を限界として明記している。クローズドループ評価は行われておらず、今後の課題としている。データセットがBDD-X単一であること、ChatGPTによる自動評価スコアは3回の平均で安定性に課題があること、GPT-4との比較は定性事例のみであることも、実験設定から読み取れる制約である。また制御信号予測はオープンループで、実際の運転性能への影響は不明。
産業へのインパクト
本論文は、LLMを自動運転の解釈可能エンドツーエンド制御に直接用いた初期の研究であり、動画理解と制御出力を同一の言語モデルで処理する枠組みを示した。以後のLLMベース自動運転研究の多くが参照する基盤となったが、評価がBDD-Xのオープンループに限定され、クローズドループ性能や実車適用性は実証されていない点で、実装への直接的な効用は限定的である。