MOJITO: モーダル共同学習による統一エンドツーエンド自動運転
1分まとめ
カスケード型の認識→計画パイプラインを廃し、画像・LiDAR・行動トークンを各ブロックの自己注意で同時更新する統合エンドツーエンド運転モデル。NAVSIM v1 で PDMS 88.9、NAVSIM v2 で EPDMS 88.4 を報告し、アンカーや補助タスクなしで既存手法を上回る。
- カスケード型の認識→計画パイプラインを廃し、画像・LiDAR・軌跡トークンを全ブロックで共に自己注意する統合アーキテクチャ「MOJITO」を提案した。
- NAVSIM v1 navtest で PDMS 88.9 を達成し、DiffusionDrive（88.1）や WoTE（88.3）を上回った。アンカー数は 0 で補助タスクも用いない。
- NAVSIM v2 navtest では EPDMS 88.4 を報告しており、既存の DiffusionDriveV2（85.5）を上回った。
- パラメータ数は 127M で、2B～8B の VLA モデルに匹敵する性能を強化学習なしで実現したと主張している。
- 評価は NAVSIM の非反応型クローズドループ（シミュレーション）のみ。navhard では LiDAR なしの camera-only 設定で評価しており、実車検証はまだ行われていない。
課題
既存のエンドツーエンド自動運転は、認識ステージがセンサ入力を圧縮してコンテキストを生成し、計画ステージがそのコンテキストに基づいて軌跡を予測する2段階カスケードが主流である。この一方向の認識→計画インターフェースは情報ボトルネックを生み、軌跡予測に必要な細かい幾何情報が失われる。また、圧縮表現だけでは軌跡の教師信号が弱いため、3Dボックス予測などの補助タスクや事前定義アンカーを必要とし、さらに Vision Transformer などの基盤モデルを認識エンコーダとしてしか使えないという互換性の欠如がある。
提案手法
MOJITO は、画像ブランチ（DINOv3-S+）、LiDAR ブランチ（Uni3D-S をベースに新しい PillarGroup トークナイザを使用）、行動プランナ（Diffusion Transformer）の3つの並列ブランチで構成される。各 Transformer ブロックで、画像・LiDAR・行動トークンを連結し、共有の自己注意（Modal Joint Attention）で同時更新する。これにより、行動トークンは高密度のセンサ特徴に直接アクセスでき、アンカーや補助タスクを必要としない。LiDAR トークナイザ PillarGroup は、3D空間を32×32のピラーに分割し、非空ピラーから K=512 個を選択、各ピラーに N=64 点をサンプリングする。行動プランナは拡散過程でノイズから軌跡を生成し、高水準コマンドを Adaptive Layer Normalization で注入する。学習は AdamW、バッチサイズ512、学習率6×10^-4、8枚の H200 GPU を使用する。
評価と結果
NAVSIM v1 navtest（非反応型クローズドループ）で PDMS 88.9 を達成し、DiffusionDrive（88.1）、WoTE（88.3）、Hydra-MDP（86.5）を上回った。NAVSIM v2 navtest では EPDMS 88.4 で、DiffusionDriveV2（85.5）、ARTEMIS（83.1）を上回った。アブレーションでは、カメラのみ 86.8、LiDAR に FPS+KNN を用いた場合 86.1、クロスアテンションに変えた場合 85.7、フルモデル 88.9。スケーリング実験では、ブロック数 3／6／9／12 で PDMS が 80.5／80.5／83.0／88.9 と向上した。推論レイテンシは H200 GPU で 187.65ms（2 diffusion steps）であり、Transfuser 88.15ms、DiffusionDrive 123.22ms、ReCogDrive 331.68ms と比較される。VLA 比較では、ReCogDrive-Base-RL（2B）が 90.8、AutoVLA-RL（3B）が 89.1 であるのに対し、MOJITO は 127M パラメータで 88.9 を達成した。
NAVSIM-v1 navtest 分割におけるエンドツーエンド手法との比較
| Method | Input | Anchor | NC | DAC | TTC | Comf. | EP | PDMS |
|---|---|---|---|---|---|---|---|---|
| Constant Velocity | - | - | 68.0 | 57.8 | 50.0 | 100 | 19.4 | 20.6 |
| Ego Status MLP | - | - | 93.0 | 77.3 | 83.6 | 100 | 62.8 | 65.6 |
| UniAD | Camera | 0 | 97.8 | 91.9 | 92.9 | 100 | 78.8 | 83.4 |
| Transfuser | C & L | 0 | 97.7 | 92.8 | 92.8 | 100 | 79.2 | 84.0 |
| DRAMA | C & L | 0 | 98.0 | 93.1 | 94.8 | 100 | 80.1 | 85.5 |
| VADv2 | C & L | 8192 | 97.2 | 89.1 | 91.6 | 100 | 76.0 | 80.9 |
| Hydra-MDP | C & L | 8192 | 98.3 | 96.0 | 94.6 | 100 | 78.7 | 86.5 |
| DiffusionDrive | C & L | 20 | 98.2 | 96.2 | 94.7 | 100 | 82.2 | 88.1 |
| WoTE | C & L | 256 | 98.5 | 96.8 | 94.9 | 100 | 82.6 | 88.3 |
| MOJITO (Ours) | C & L | 0 | 98.6 | 96.9 | 94.5 | 100 | 83.5 | 88.9 |
NAVSIM-v1 navtest の PDMS 比較
NAVSIM-v2 navtest の EPDMS 比較（Stage-1）
ブロック数に対する PDMS スケーリング（NAVSIM-v1）
新規性
既存のカスケード型2段階構成を廃し、行動トークンとセンサトークンを全ブロックで同時に自己注意で更新する Modal Joint Attention を導入した点が新規性の中心である。アンカー補助タスクを不要にした設計も独自性を持つ。
限界
著者による明示的な limitations 節はない。ただし、論文から以下の制約が読み取れる。評価は NAVSIM の非反応型クローズドループ（シミュレーション）に限定され、実車や実環境での検証は行われていない。NAVSIM-v2 navhard では LiDAR が提供されないため camera-only 設定に変更しており、マルチモーダルの性能を直接比較できない。推論レイテンシは 187.65ms で、Transfuser（88.15ms）や DiffusionDrive（123.22ms）より遅い。VLA ベースラインの多くは強化学習で性能を引き上げており、MOJITO との比較は同じ学習設定ではない。また、学習に 8 枚の H200 GPU を必要とするため、計算コストは軽量とは言いがたい。
産業へのインパクト
日本の自動車メーカー・サプライヤーにとっては、アンカーや補助タスクに依存しないエンドツーエンド学習の実装例として参考になる。特に、認識バックボーンとして DINOv3 と Uni3D という公開済みの事前学習モデルを直接利用し、127M パラメータという比較的小規模なモデルで 2B〜8B の VLA モデルに迫る性能を報告している点は、車載推論リソースの制約を考慮する際に意味を持つ。ただし、シミュレーション評価のみであるため、実車での安全性検証は別途必要。