自動運転VLMにおける検証可能な推論のための将来軌跡の遅延提示
1分まとめ
自動運転VLMのCoT教師データ作成でGT軌跡を先行提示すると「軌跡アンカリングバイアス」が生じることを実証し、候補軌跡選択ベンチマークAD-MCQと、推論後に候補を開示するDEFT-RLVRを提案した。Qwen3-VL-8Bで候補選択精度を28.1%から77.9%へ向上し、汎用視覚能力も平均54.81%から56.09%へ向上したと報告している。
- 推論前に正解軌跡を開示せずシーンから意思決定を生成してから候補軌跡を照合するDEFT-RLVRにより、Qwen3-VL-8Bの候補選択精度は28.1%から77.9%に向上した。
- 人間評価では、GT軌跡を開示するとCoTの深刻な幻覚発生率が29.0%から50.0%に増加し、因果的忠実性も低下する「軌跡アンカリングバイアス」が確認された。
- ただし評価はオープンループの候補選択ベンチマークAD-MCQに限られ、実車やクローズドループ走行での検証は行われていない。
- 蒸留ベースラインはACC 84.1%で最高だが汎用視覚平均は51.80%に低下し、DEFT-RLVRはACC 77.9%で汎用視覚平均56.09%を維持する。
課題
既存のVLAモデルでは、CoT教師データを作るときに教師モデルにログ済みのGT未来軌跡を与えることが多い。しかしこれにより、教師はシーン証拠から意思決定を推論するのではなく、開示された結果を後付けで正当化する「軌跡アンカリングバイアス」が生じる。この結果CoTの因果的忠実性が低下し、深刻な幻覚が増える。一方、GT軌跡を単に隠してオープンエンドな軌跡生成をさせると、高次の意思決定と精密な幾何学合成が混ざり、検証が難しい。
提案手法
AD-MCQは、計画を明示的な候補軌跡群からの選択とみなすベンチマークである。K=8192のコードブック（N=489,042本の軌跡をK-meansでクラスタリング）を使い、各シーンでGT軌跡に最も近いプロトタイプを正解とし、類似度ベースの妨害候補を加えて6択にする。DEFT-RLVRは2ターン構成をとる。Turn 1で候補を開示せずシーンのみからHIGH_LEVEL_DECISIONを生成し、Turn 2で候補軌跡を開示して意思決定に対応する軌跡を選択させる。GRPOで2ターンをまとめて最適化し、正解時のみ、インスタンス固有のルーブリック（重み付き基準）をテキスト判定器で評価して報酬にする。
評価と結果
データはWaymo Open E2Eと内部コーパスからTrain 5,000シーン、Dev 100、Test 500（AD-MCQ-500）。評価指標は候補選択精度ACC、因果的忠実性CFS、高次決定一致HLD。CFS/HLDはQwen3.5-397B-A17Bが判定し、人間との一致（CFS Spearman 0.78、HLD一致率92.0%）が確認されている。Qwen3-VL-8B-Instructでは、訓練なしDEFTがACC 56.6%だったのに対しDEFT-RLVRはACC 77.9%、CFS 0.658、HLD 0.501を達成。候補を最初から開示するJEFTのRLVRはACC 61.1%にとどまり、遅延開示の効果が見られる。汎用視覚能力の平均は54.81%から56.09%に微増。nuScenes 500シーンのOOD評価では、DEFT-RLVRはACC 49.5%（訓練なし39.6%）、CFS 0.636、HLD 0.359と報告している。
Qwen3-VL-8B-InstructにおけるAD推論と汎用視覚能力（Table 2より抜粋）
| 手法 | ACC(↑) | CFS(↑) | HLD(↑) | 汎用視覚平均(↑) |
|---|---|---|---|---|
| Base VLM（直接MCQ） | 28.1 | – | – | 54.81 |
| JEFT+RLVR (R_MCQ) | 61.1 | 0.428 | 0.427 | 54.90 |
| DEFT+RLVR (R_MCQ) | 76.4 | 0.442 | 0.462 | 56.39 |
| DEFT-RLVR | 77.9 | 0.658 | 0.501 | 56.09 |
| JEFT Distillation | 64.0 | 0.620 | 0.480 | 49.80 |
| DEFT Distillation (Mixed Targets) | 84.1 | 0.934 | 0.627 | 51.80 |
CoT教師データ作成時のGT軌跡開示が深刻な幻覚発生率に与える影響
DEFT-RLVRの1ステップあたりの学習時間（秒）
新規性
「軌跡アンカリングバイアス」の実証と、将来軌跡を推論の前提から事後検証対象に変換する遅延開示の学習手続きが新規性の中心である。既存のCoT蒸留やRLVRの組み合わせだけでなく、候補軌跡選択ベンチマークAD-MCQを新たに導入している。
限界
著者による明確なlimitations節への明記はない。評価はすべてオープンループの候補選択タスクであり、クローズドループ走行や実車検証は行われていない。データはWaymoと内部コーパス主体で、OOD検証はnuScenes 500シーンのみ。CFS/HLDはVLM判定に依存し、人間との一致は200サンプルの監査のみ。軌跡コードブックの量子化誤差があり、オラクルのADEはP95で1.630 m。蒸留ベースラインは精度が高いが汎用視覚能力を犠牲にする。RLVRの訓練には64基のアクセラレータを使用しており計算コストは大きいが、DEFT-RLVRは正解報酬のみのRLVRと比べステップ時間が0.5%増で済むと報告されている。
産業へのインパクト
自動運転VLMのCoT教師データを作成する際、GT軌跡を先行提示する一般的な方法に問題があることをデータで示した点は実務への示唆が大きい。AD-MCQのような候補選択形式は、オープンエンドな軌跡生成を避けつつ計画を言語モデル互換で検証可能にする枠組みとして参考になる。一方、実車適用にはクローズドループ評価と計算コストの低減が残るため、直接の導入効果は限定的である。