Auto-JEPA: エンドツーエンド自動運転のための連続的意図の潜在世界モデル
1分まとめ
将来シーンを密に予測するのではなく、自車の将来軌跡の潜在表現だけを予測する世界モデルを提案し、NAVSIM v1 で 91.3 PDMS を達成したと報告している。予測した「意図」を検索キーとして固定の軌跡メモリから実行可能な軌跡を引く構成で、軌跡生成器を学習しない点が特徴である。
- 入力は前方カメラ1台のみ。物体検出・占有・意味地図といった認識の教師信号を一切使わずに計画性能を出している。
- NAVSIM v1 navtest で 91.3 PDMS。同じカメラ1台構成の従来最高値 90.3 を上回るが、人間の 94.8 には届かない。
- 軌跡は生成せず、110,335件の記録済み軌跡から検索して選ぶ。性能上限はこのメモリの網羅範囲で決まり、候補数は K=200〜300 で飽和している。
- NAVSIM は周辺車両が自車に反応しない非反応型ベンチマークで、クローズドループ性能は示されていない。v2 での優位は評価実装の差に依存する。
- センサ構成とアノテーションコストを下げる方向として参考になるが、走行データの分布がそのまま性能を規定するため、国内展開にはメモリの再構築が前提になる。
課題
既存の自動運転向け世界モデルは、将来の映像・占有状態・BEV（鳥瞰図表現）・周辺エージェントの動きを密に予測する定式化を取る。著者は、計画に必要なのは将来シーン全体の再構成ではなく、自車の将来行動に影響するシーン特徴だけだと主張する。密な予測は、自車の直近の判断にほとんど影響しない要素にモデル容量を割かせ、認識と予測の誤差を下流の計画へ伝播させる。
提案手法
2段階の学習からなる。第1段階で軌跡オートエンコーダを学習し、将来自車軌跡（4秒・0.5秒間隔の8点）を 8×1024 の潜在トークン列へ写像する。学習後にデコーダを破棄してエンコーダを凍結し、予測対象の空間を固定する。第2段階では、凍結した V-JEPA 2 視覚エンコーダが前方カメラ4フレーム（256×256）から視覚トークンを取り出し、自車運動履歴4点とナビゲーション指令とともに24層 Transformer（隠れ次元1024、16ヘッド）へ入力して将来軌跡潜在を予測する。損失は特徴整合（Smooth L1）、トークンごとのコサイン整合、バッチ内 InfoNCE の重み付き和（0.1 / 2.0 / 1.0）。推論時は予測した潜在を検索キーとして、110,335件の正解軌跡からなる固定メモリからコサイン類似度上位300件を引き、シーン条件付きスコアラで順位付けし、走行可能領域違反の確率が 0.2 を超える候補を学習済みゲートで除外して最終軌跡を選ぶ。物体ボックス・占有・意味地図・周辺エージェントの動きの教師信号は一切使わない。
評価と結果
NAVSIM v1 navtest（12,146シナリオ）で 91.3 PDMS。内訳は NC 98.4、DAC 98.3、TTC 95.0、快適性 100.0、自車進行 87.1。前方カメラ1台のみの入力で、比較表中の最高値（Curious-VLA と AdaThinkDrive の 90.3）を上回るが、人間の 94.8 には届かない。NAVSIM v2 は評価実装によって数値が分かれ、更新後の公式実装（人間挙動フィルタ有効）で 89.1 EPDMS、元の評価実装では 85.6 EPDMS である。アブレーションでは、スコアラを外すと 87.6、ゲートを外すと 91.0（DAC が 98.3 から 97.9 へ低下）。検索候補数は K=1 で 87.6、K=200 で 91.1、K=300 で 91.3 と飽和傾向を示す。遮蔽実験では、検証データ15,364シーンで動的エージェント領域をマスクしたときの意図変化（1−コサイン類似度）が平均 0.080、同面積のランダムマスクでは 0.027 で、比は 2.97倍。71.1% のシーンで動的エージェントのマスクの方が大きい変化を生じた。
NAVSIM v1 navtest の比較（論文 Table 1 より抜粋）
| 手法 | 会議/年 | センサ | DAC | EP | PDMS |
|---|---|---|---|---|---|
| Human（参考） | — | — | 100.0 | 87.5 | 94.8 |
| Auto-JEPA（本論文） | — | カメラ1台 | 98.3 | 87.1 | 91.3 |
| AdaThinkDrive | ICRA 2026 | カメラ1台 | 97.8 | 84.4 | 90.3 |
| Curious-VLA | CVPR 2026 Findings | カメラ1台 | 96.9 | 88.5 | 90.3 |
| DriveVLA-W0 | ICLR 2026 | カメラ1台 | 99.1 | 83.3 | 90.2 |
| RecogDrive | ICLR 2026 | カメラ3台 | 97.8 | 83.5 | 89.6 |
| WoTE | ICCV 2025 | カメラ3台+LiDAR | 96.8 | 81.9 | 88.3 |
| DiffusionDrive | CVPR 2025 | カメラ3台+LiDAR | 96.2 | 82.2 | 88.1 |
| TransFuser | TPAMI 2023 | カメラ3台+LiDAR | 92.8 | 79.2 | 84.0 |
NAVSIM v1 PDMS（値が 84〜95 に集まるためドットプロット）
アブレーション（構成要素を外したときの PDMS）
検索候補数 K に対する PDMS の推移
遮蔽実験：マスク種別による意図変化（1−コサイン類似度）
新規性
JEPA 系の潜在予測自体は既存だが、予測した潜在を表現学習や蒸留の補助信号としてではなく、推論時の軌跡検索キーとして直接使う点が新しい。
限界
著者は、固定軌跡メモリの網羅範囲と意図クエリの再現率に性能が制約されると明記している。検索候補に実行可能な機動が含まれなければ、スコアラもゲートもそれを合成できない。K=200 から 300 で飽和していることは、候補数を増やすだけでは頭打ちであることを示す。またシーン全体の予測を持たないため、対話的シミュレーションや反実仮想的な環境生成には使えないとしている。 以下は著者が強調していないが、結果を割り引いて読むべき点である。第一に、NAVSIM は非反応型（non-reactive）のベンチマークであり、周辺車両が自車の行動に反応しない。CARLA のようなクローズドループ評価とは別物である。第二に、NAVSIM v2 の比較表では他手法が原典報告値であるのに対し、Auto-JEPA のみ更新後の公式実装で評価した 89.1 を併記している。同一の元評価実装での 85.6 は、表中の DriveSuprim（87.1）や DriveWorld-VLA（86.8）を下回る。v2 での優位性は評価実装の差に依存しており、そのまま受け取れない。第三に、ベンチマーク数値は選択済みチェックポイントの単一評価であり、独立に再学習した複数試行の平均ではないと著者自身が明記している。第四に、シーンスコアラは既存手法 CLOVER の公開スコアラを初期値として再最適化したものであり、性能の一部は既存部品に由来する。
産業へのインパクト
前方カメラ1台と凍結済み視覚エンコーダで、認識の教師信号なしに計画性能を出している点は、センサ構成とアノテーションコストを下げる方向として参考になる。特に、軌跡生成器を学習せず記録済み軌跡の検索に置き換える設計は、生成モデルの出力が運動学的に妥当かを別途保証する必要がなくなるため、量産設計での検証負荷を下げうる。一方で、検索メモリの網羅範囲が性能上限を決めるという性質は、走行データの収集戦略がそのまま性能を規定することを意味する。走行環境が北米中心のデータセットと異なる国内条件では、メモリの再構築が前提になる点は実装時の考慮事項になる。