アウトカム誘導蒸留：自動運転におけるVLM推論を進める教師-学生フレームワーク
1分まとめ
正解ウェイポイントから逆算して推論を洗練するreflective reasoningを導入し、教師(78B)から学生(8B)への蒸留と数値デコーダ(1B)を組み合わせた。Waymo E2EデータセットでRFS 7.240を達成し、推論なしの同規模モデルより約24%向上、78B教師に匹敵しつつトークン生成を約7倍高速化した。
- 正解ウェイポイントを手掛かりに推論を往復で洗練するreflective reasoningにより、人手のCoTラベルなしでVLMの推論を学習する手法を提案した。
- 蒸留した8B学生+1BデコーダはWaymoでRFS 7.240を達成し、推論なしの同規模モデル(5.849)より約24%向上した。
- 78B教師(7.639)に近い性能を維持しつつ、トークン生成を454.88msから68.30msへ約7倍高速化した。
- 評価はWaymoのオープンループ軌跡予測のみで、閉ループ/実車検証は未実施。入力は最新フレームのみで過去映像は使わない。
課題
エンドツーエンドの自動運転モデルはブラックボックスであり、複雑なシーンで脆弱である。近年はVLMを組み込み推論テキストを生成する手法が提案されているが、既存手法は人手または外部モデルによるCoTアノテーションに依存し、品質のばらつきとコストが問題である。さらに、VLMは数値の連続量であるウェイポイントを正確に出力できず、ファインチューニングによる破壊的忘却も起こす。
提案手法
提案手法は(1)正解ウェイポイントを手掛かりに推論を洗練する『reflective reasoning』を導入した教師モデル(InternVL3-78B)、(2)教師の推論をトークン単位のクロスエントロピー損失と埋め込み単位のL2損失で蒸留された学生モデル(InternVL3-8B)、(3)推論テキストを連続軌道に変換する専用のRealNum-Decoder（1B VLMとGRU）で構成される。RealNum-Decoderは車両の慣性座標におけるウェイポイントを、許容値で重み付けした最悪軸変位損失で学習する。視覚エンコーダは凍結し、破壊的忘却を防ぐ。
評価と結果
Waymo E2E Drivingデータセット（学習サンプルの約57%をサブサンプリング）で評価した。提案手法（8B学生+1Bデコーダ）はRFS 7.240、ADE 3.231を達成し、8Bベースラインを上回った。推論なしのDirect PredictionはRFS 5.849、ADE 7.106であり、推論の追加により約24%のRFS向上に相当する。78Bの標準CoT（RFS 6.536）も上回り、78B教師（RFS 7.639）に迫る。トークン生成速度は教師の454.88 ms/トークンに対し学生は68.30 ms/トークン、デコーダの推論レイテンシは76.50 msである。
Waymo E2Eデータセットでの主結果（Table 2 より）
| モデル | サイズ | ViT | デコーダ | RFS↑ | ADE↓ | ADE@3s↓ | ADE@5s↓ |
|---|---|---|---|---|---|---|---|
| Direct Prediction | 8B | Frozen | Waypoint | 5.849 | 7.106 | 5.989 | 8.222 |
| Standard CoT | 78B+1B | Frozen | Waypoint | 6.536 | 3.289 | 2.599 | 3.979 |
| Text-Based Waypoints | 8B+1B | Frozen | Text-based | 5.690 | 6.089 | 4.151 | 8.028 |
| Finetuned ViT | 8B+1B | Finetuned | Waypoint | 6.554 | 4.338 | 3.632 | 5.044 |
| Our Method | 8B+1B | Frozen | Waypoint | 7.240 | 3.231 | 2.726 | 3.735 |
| Teacher (Upper Bound) | 78B+1B | Frozen | Waypoint | 7.639 | 3.197 | 2.944 | 3.451 |
RFS（Rater Feedback Score）の比較
ADE（Average Displacement Error）の比較
VLMトークン生成速度（ms/トークン）
新規性
正解アウトカム（ウェイポイント）から逆算して推論を多重に洗練するreflective reasoningと、推論テキストと数値出力を分離したデコーダ構成の組み合わせが新規である。既存のCoT蒸留や数値デコーダの単純な組み合わせではなく、データ生成過程に正解を活用する点に特徴がある。
限界
著者は限界として、(1)入力が最新フレームのみで過去の映像を明示的に使わないため、周辺物体の動的状態の手掛かりを欠くこと、(2)自己回帰的な推論生成のレイテンシにより実時間制御にはさらなる最適化が必要なことを挙げている。また、データセットの約57%での学習、Waymoのオープンループ軌跡予測のみの評価であり、閉ループや実車での性能は未検証である。破壊的忘却の回避はfrozen ViTによるものである。
産業へのインパクト
日本メーカーにとっては、人間が読める推論テキストと数値軌道を分離する設計は、安全性の説明責任や認証プロセスに有用である。ただし、8B規模の学生モデルでもエッジでの実時間推論には課題が残る。オープンループ評価のみなので、閉ループでの優位性は今後の検証待ちである。