Latent-Centroid Steering: コマンド整合型自動運転のための単一パス・クラス分類器フリーガイダンス
1分まとめ
視覚言語行動（VLA）モデルがナビゲーション命令を無視する「条件付きポリシー崩壊」を、潜在空間のクラス重心シフトで是正する単一パス推論法 LCS を提案した。Bench2Drive で成功率を71.16%に、nuScenes でL2誤差を0.85mに改善し、2パスCFG比で推論レイテンシを約50%削減した。
- VLA駆動モデルがナビゲーション命令を無視する「条件付きポリシー崩壊」を、潜在空間のクラス重心シフトで是正する単一パス推論法 LCS を提案した。
- Bench2Drive の閉ループ評価で、成功率を SimLingo 比65.78から71.16へ相対8.2%向上させた。
- 2パスCFG（563.55ms）に対し、LCS は285.75ms とレイテンシを約49%削減した。
- 評価はシミュレータ（Bench2Drive）とオープンループ（nuScenes）のみで、実車・実環境での検証はない。
- 単一パスであるため既存VLAモデルへの適用コストが低く、実時間制御への導入障壁を下げる。
課題
エンドツーエンドの VLA モデルは、回帰損失による学習で多峰な軌跡分布の平均を推定するため、視覚的な支配モード（レーン形状や交通流）に依存し、言語コマンドの影響が埋もれてしまう。このため「直進」と指示しても曲がる軌跡を出すなど、指令追従が不安定になる。論文ではこれを conditional policy collapse と定義している。
提案手法
LCS は、学習時に命令を確率 p_drop で null トークンに置換する条件付きドロップアウトを導入し、条件付き・無条件の潜在表現を学習する。その後、オフラインで命令クラスごとの重心 μ_c と全体重心 μ_g を計算し、シフトベクトル δ_c = μ_c − μ_g を事前計算する。推論時は条件付き潜在特徴 z_c に γδ_c を加算してから予測ヘッドでデコードする。アーキテクチャは InternVL2-1B をバックボーンに LoRA でファインチューニングし、学習は16エポック、バッチサイズ128、AdamW・コサインスケジューラを使用。
評価と結果
閉ループ評価は Bench2Drive（CARLA、220ルート）で実施。SimLingo をベースに、命令と軌跡ラベルのみで学習（Q&Aや未来状態予測などの補助モダリティは不使用）。Driving Score は SimLingo 86.08 に対して LCS 87.18、Success Rate は65.78 に対して 71.16 に向上。2パスCFG との比較では、Action-Space CFG 522.44ms・Latent-Space CFG 563.55ms に対し、LCS は 285.75ms と約50%のレイテンシ削減。オープンループは nuScenes で平均L2誤差が SimLingo 0.90m から 0.85m に改善。
Bench2Drive における性能比較（Table II）
| 手法 | DS | SR | Latency (ms) |
|---|---|---|---|
| SimLingo | 86.08 | 65.78 | 294.84 |
| Action-Space CFG | 86.87 | 70.57 | 522.44 |
| Latent-Space CFG | 87.07 | 70.91 | 563.55 |
| LCS (Ours) | 87.18 | 71.16 | 285.75 |
推論レイテンシの比較（Bench2Drive）
新規性
CFG を平均シフトと解釈し、インスタンス毎の残差をクラス重心シフトで近似する点に新規性がある。既存の2パスCFG のレイテンシとノイズの問題を、事前計算ベクトルによる単一パス推論で置き換えた。
限界
著者による明示的な限界の記述はない。ただし、評価はシミュレータ（Bench2Drive）とオープンループ（nuScenes）のみであり、実車・実環境での検証はない。また、LCS のシフトベクトルは学習データセットごとに事前計算するため、ドメインが変わると再計算が必要。命令空間は離散コマンド（Bench2Drive では6クラス、nuScenes では3クラス）に限定されており、複合的な指示への拡張は今後の課題とされている。
産業へのインパクト
自動運転のVLAモデルでは、命令追従の失敗は製品上の致命的な問題になりうる。LCS は推論時の軽量な補正でこれを改善するため、既存モデルへの適用コストが低い。ただし、シミュレーション実証のみであり、実車適用時の安全性検証はさらに必要。