ReCogDrive: エンドツーエンド自動運転のための強化学習認知フレームワーク
1分まとめ
VLMの認知トークンを拡散プランナーに注入し、DiffGRPOによる強化学習で安全性と快適性を最適化するエンドツーエンド自動運転フレームワークを提案。NA VSIMでPDMS 90.8を達成し、カメラのみでLiDAR併用のDiffusionDrive（88.1）を上回った。
- VLMの認知表現を拡散プランナーに注入し、言語空間での軌跡生成が抱える形式崩れ・非実現軌跡・低速推論を解消した。
- DiffGRPOによりNA VSIMのPDMSが模倣学習の86.5から90.8へ4.3向上し、カメラのみでLiDAR併用のDiffusionDrive（88.1）を2.7上回った。
- 軌跡生成をテキスト出力する方式に対し、拡散プランナーは7.8倍の高速化を実現したと報告している。
- 評価の中心はNA VSIMのシミュレーションであり、Bench2Driveでも成功率达到45.45%だが、実車評価は行われていない。
- VLMの高次命令やCoT入力を加えてもPDMSは向上せず、NA VSIMのシナリオ多様性が限られるため、テキストガイダンスは任意としている。
課題
エンドツーエンド自動運転でロングテール状況への対応が課題であり、VLMを活用する既存手法は軌跡計画を言語生成タスクとして定式化していた。これには（1）汎用インターネットデータ由来の領域ギャップ、（2）離散言語空間と連続行動空間の不一致による形式違反出力・非実現軌跡・低速推論、（3）模倣学習が稀なシナリオで安全でない準最適方策に収束する、という3つの問題がある。
提案手法
ReCogDriveはInternVL3をVLMバックボーンとし、4レベル（基礎知覚・動的理解・計画と推論・高度推論）の階層的VQAデータパイプライン（生成・精錬・品質管理）で駆動認知を獲得する。軌跡生成はDiTベースの拡散プランナーが担い、VLMの中間隠れ状態をクロスアテンションで注入する。学習は3段階で、VLMのSFT、VLM凍結下での拡散モデルの模倣学習（DDPM 200エポック）、NA VSIMシミュレータのPDMS報酬を用いたDiffGRPOによる強化学習（10エポック）を行う。
評価と結果
NA VSIM navtest（閉ループ）でPDMS 90.8を達成し、カメラ+LiDAR入力のDiffusionDrive（88.1）を2.7、WoTE（88.3）を2.5上回った。カメラのみの従来最高性能PARA-Drive（84.0）に対しては6.8上回る。Bench2Driveではシナリオ成功率45.45%と運転スコア71.36で従来のエンドツーエンド手法を上回り、緊急ブレーキ69.09%を示した。アブレーションでは駆動プリトレーニングでPDMSを84.1へ、拡散プランナーで86.5へ、DiffGRPOで90.8へ段階的に改善した。DriveBenchでは平均56.71でGPT-4o（51.96）を上回った。
NA VSIM navtestにおける閉ループ指標の比較
| 手法 | 入力 | NC | DAC | TTC | Comf. | EP | PDMS |
|---|---|---|---|---|---|---|---|
| Constant Velocity | - | 68.0 | 57.8 | 50.0 | 100 | 19.4 | 20.6 |
| Ego Status MLP | - | 93.0 | 77.3 | 83.6 | 100 | 62.8 | 65.6 |
| VADv2 | カメラ | 97.2 | 89.1 | 91.6 | 100 | 76.0 | 80.9 |
| UniAD | カメラ | 97.8 | 91.9 | 92.9 | 100 | 78.8 | 83.4 |
| PARA-Drive | カメラ | 97.9 | 92.4 | 93.0 | 99.8 | 79.3 | 84.0 |
| DiffusionDrive | カメラ+LiDAR | 98.2 | 96.2 | 94.7 | 100 | 82.2 | 88.1 |
| WoTE | カメラ+LiDAR | 98.5 | 96.8 | 94.9 | 99.9 | 81.9 | 88.3 |
| ReCogDrive（提案） | カメラ | 97.9 | 97.3 | 94.9 | 100.0 | 87.3 | 90.8 |
NA VSIM navtestにおけるPDMSの比較
アブレーション: 各構成要素のPDMS寄与
新規性
VLMの認知表現を拡散プランナーに注入し、拡散ポリシー専用のGRPO（DiffGRPO）でシミュレータ報酬を用いた強化学習を導入した点が新規であり、言語生成型VLMと拡散計画を組み合わせた既存要素の組合せに強化学習の枠組みを加えたもの。
限界
著者らは複数カメラ入力の処理、ビデオフレーム系列の扱い、比較的高い推論遅延を限界として挙げている。評価はNA VSIMとBench2Driveのシミュレーションのみで、実車評価は行われていない。NA VSIMのシナリオ多様性が限られるため、高次命令やCoT推論の効果は検証できていない。また、VLMの知覚能力の弱さからマルチビュー入力でターン時に準最適となる失敗例や、前方車両の行動モデリング不足による不十分な車間距離も報告されている。NAL VSIMのPDMSはシミュレーション指標であり、実世界の安全性を直接保証するものではない。この後、シミュレーション環境の忠実度向上や実車検証が進んだが、本論文の時点ではそこまでの検証はない。
産業へのインパクト
本論文はVLMと拡散プランナーを組み合わせ、シミュレータ報酬による強化学習をVLAモデルに適用した初期の事例であり、その後の言語出力型モデルから連続行動生成型モデルへの流れの基礎を築いた。NA VSIMとBench2Driveは現在もよく使われるベンチマークで、カメラのみでLiDAR併用のモデルを上回る結果は、センサ構成の選択に影響を与えた。実車適用には推論遅延とマルチカメラ処理が残っており、後続研究がこれらの課題を引き継いでいる。