構造化シーン知識と検証可能な推論-行動整合性を用いた自動運転の認知的双過程計画
1分まとめ
本論文は、自動運転の高水準計画に対して、構造化CoTを自動生成するデータエンジンと、シーン複雑度で高速予測と低速推論を切り替える視覚アービタ、ルール検証によるGRPO報酬を組み合わせた二過程計画フレームワークを提案している。NAVSIMの手動検証574サンプルで計画精度80.14%、LCS 97.20%を達成し、全シーンへ低速推論を適用した場合と比べ平均レイテンシを17.39%削減したと報告している。
- 構造化CoTを自動生成するデータエンジンと、視覚アービタによる動的ルーティング、ルール検証GRPOを備えた二過程計画を提案した。
- NAVSIM手動検証574サンプルで計画精度80.14%、LCS 97.20%を達成（論文報告値）。
- 全シーン遅延推論比で平均レイテンシ17.39%削減、ルーティングF1 89.46%。
- 外部ロングテール6サブセットでは平均計画精度65.47%に低下し、交通標識推論と低視認性で特に悪化する。
- 離散メタ行動のオープンループ評価のみで、閉ループ性能や軌道生成は未検証。
課題
高水準計画ではシーン理解と行動選択の内部整合性が求められるが、従来のVLMプランナは構造化教師データの確保が高コストで、ルーチンなシーンでも推論を行い、生成される推論根拠と最終行動が矛盾しうる。既存研究は自由文のCoT生成やルーティング、報酬設計の個別要素を扱うが、機械検査可能な形でこれらを統合し整合性を担保する仕組みはなかった。
提案手法
フレームワークはQwen3-VL-4Bを基盤とし、オフラインで(1)Grounding DINO/SAM/Depth Anythingと将来軌跡から物体を抽出し、クリティカルパスフィルタで運転判断に関わる物体に絞り込んだうえで、Qwen3-VL-235B-A22BのエキスパートVLMを用いてS-CoT（環境条件、重要物体、車線可用性、行動計画、簡潔な推論）を自動生成するデータエンジン、(2)マルチレベルViT特徴からシーン複雑度を推定する軽量Transformerの視覚アービタ（しきい値τ=0.7で高速メタ行動予測と低速構造化推論を切替）、(3)S-CoTフィールドと最終メタ行動の整合性を検証するルールベースバリデータと、それを報酬に用いるGRPOによるRLVRを組み合わせる。SFT初期化後、アービタは偽陰性ペナルティ付き二値分類で独立訓練され、GRPOは低速パス出力に対して基本タスク・論理整合性・リスク回避の報酬を最適化する。
評価と結果
NAVSIM trainval由来の訓練データ69,842サンプル（単純42,163、複雑27,679）で訓練し、検証2,346サンプルでハイパーパラメータを選定、手動検証済みテスト574サンプル（単純146、複雑428）で評価した。ベースラインはInternVL3.5 4B、Qwen3-VL 4Bのゼロショット、同SFTモデル、AlphaDrive 2B、IDM+MOBIL、CIL-BCである。提案手法（4B）は計画精度80.14%、LCS 97.20%、F1_per 88.46%を達成し、Qwen3-VL SFT（計画精度70.73%、LCS 62.15%）と比べ計画精度9.41ポイント、LCS 35.05ポイント向上した。レイテンシはFast-Plan 401.62 ms、Slow-Think 520.26 msに対し429.81 msで、Slow-Think比17.39%減だった。外部ロングテール6サブセット（各96〜108サンプル）では平均計画精度65.47%、平均LCS 85.18%に低下した。
NAVSIMテストセット（574サンプル）の計画精度と整合性
| 手法 | サイズ | 計画精度(%) | F1_per(%) | LCS(%) |
|---|---|---|---|---|
| Qwen3-VL SFT | 4B | 70.73 | 78.62 | 62.15 |
| AlphaDrive | 2B | 73.52 | 82.42 | 報告なし |
| Dual-Process (2B) | 2B | 77.35 | 83.37 | 96.73 |
| Dual-Process (Ours) | 4B | 80.14 | 88.46 | 97.20 |
NAVSIMテストセットにおける計画精度の比較
NAVSIMテストセットにおけるLCSの比較
外部ロングテールサブセット別の計画精度
新規性
既存のVLMプランナに対する新規性は、機械検査可能なS-CoTスキーマと自動アノテーション、言語デコーディング前に動作する分離型視覚アービタ、決定論的ルール検証をGRPO報酬に組み込んだ点の組み合わせにある。個々の要素は既存研究にあるが、それらを統合し論理整合性を訓練信号として用いる枠組みは独自と判断できる。
限界
著者は結論で、(1)アービタの個別ルーティング判断の根拠が解釈不能、(2)S-CoTスキーマとバリデータが固定のシーン要素しか扱えず、激しい視覚劣化や稀な相互作用を捉えきれない、(3)外部評価は対象を絞ったサブセットであり、包括的なクロスデータセット評価ではない、(4)離散メタ行動の予測であり、実行可能な軌道や閉ループ性能は未検証、と明記している。さらに、訓練はNAVSIM由来データのみで、外部サブセットは評価専用であるため分布外一般化の検証は限定的である。推論はシングルH20 GPUのBF16で計測されており、実車ECU/SoCでのリアルタイム性は未確認である。オフライン注釈には将来軌跡と大規模VLM（235B）を用いており、データ構築コストはオンライン推論とは別に考慮する必要がある。
産業へのインパクト
本手法は、VLMベースの高水準計画を実運用に近づける要素技術を示す。シーン複雑度に応じて推論コストを適応配分するアーキテクチャと、ルールベース検証による整合性向上は、量産ECU向けの軽量VLM計画モジュールの設計指針になりうる。ただし、離散メタ行動のオープンループ評価のみで、実際の車両制御への接続や閉ループ安全性の実証は不十分であり、そのまま製品化できる段階ではない。日本の自動車メーカー・サプライヤーにとっては、認識・予測・計画のモジュールとVLMを組み合わせる際の参考になるが、軌道計画や制御との統合、実環境での安全性検証が次の課題となる。