Epona: 自動運転のための自己回帰拡散ワールドモデル
1分まとめ
Eponaは、時空間を因果的な時間潜在と2つの拡散トランスフォーマーに分離し、次フレーム画像と3秒軌跡を自己回帰的に生成する世界モデルである。NuScenesでFVD 82.8を達成し、最大120秒の生成とNAVSIMでPDMS 86.2を記録した。
- 拡散モデルに因果的な時間分解を導入し、次フレーム画像と軌跡予測を統一した自己回帰拡散世界モデルEponaを提案した。
- NuScenesでFVD 82.8を達成し、従来最高のVista（89.4）を7.4%上回り、生成長さも15秒から120秒に延びた。
- NAVSIMでPDMS 86.2を記録し、Camera+LidarのDRAMA（85.5）などのエンドツーエンド計画を上回った。
- ただし、計画性能はフロントカメラのみでL2 1.25m（GenAD 0.91m）に及ばず、ビデオ生成は1フレーム約2秒、比較は報告値依存という留保がある。
課題
既存のビデオ拡散ベースの世界モデル（Vistaなど）は固定長シーケンスの同時分布を学習するため、時間方向の因果構造がなく、可変長・長時間の予測や軌跡計画の統合が困難だった。一方、GPT型の自己回帰手法は離散トークン化により画質と計画精度が低下し、長期軌跡の計画も苦手だった。
提案手法
Eponaは、条件フレームの時空間情報を圧縮する多モーダル時空間トランスフォーマー（MST）、次フレーム画像を生成するVisDiT、3秒先の軌跡を生成するTrajDiTの3モジュールで構成される。時間ダイナミクスは因果的注意を持つMSTが担当し、画像と軌跡はそれぞれ独立した拡散トランスフォーマーが並行してデノイズする。連続空間で自己回帰するため、離散トークン化による画質劣化を避ける。訓練では誤差蓄積を緩和するchain-of-forward戦略を10ステップごとに3回適用し、推論時は軌跡計画のみ実行して20Hzを実現する。モデルサイズは2.5Bパラメータで、NuPlanとNuScenesの公開データでスクラッチ学習する。
評価と結果
ビデオ生成はNuScenes検証セット（1646クリップ）で評価し、FVD 82.8、FID 7.5を達成した。Vista（FVD 89.4）を7.4%上回り、最大120秒（600フレーム）の生成が可能と報告されている。軌跡計画はNuScenesでL2誤差（1s/2s/3s平均）1.25m、衝突率（平均）0.36%、NAVSIMでPDMS 86.2を記録した。NAVSIMではUniAD（83.4）やDRAMA（85.5）を上回る。ただしNuScenes計画はGenAD（L2 0.91m）には及ばない。ビデオ品質の比較は多くの手法が報告値比較であり、Vistaは大規模データで事前学習済み、Eponaはスクラッチ学習という差異がある。
NuScenes検証セットでのビデオ生成比較
| 手法 | FVD↓ | 最大生成時間（フレーム数） |
|---|---|---|
| DriveGAN | 502.3 | N/A |
| DriveDreamer | 452.0 | 4s/48 |
| WoVoGen | 417.7 | 2.5s/5 |
| Drive-WM | 122.7 | 8s/16 |
| GenAD (OpenDV) | 184.0 | 4s/8 |
| Vista | 89.4 | 15s/150 |
| DrivingWorld | 90.9 | 40s/400 |
| Ours | 82.8 | 120s/600 |
FVD比較（低いほど良い）
新規性
既存のビデオ拡散モデルに因果的な時間分解を導入し、画像生成と軌跡生成を別々の拡散トランスフォーマーで並行して行う点、および誤差蓄積を緩和するchain-of-forward訓練を提案した点が新規である。
限界
著者らは限界として、補足資料でMagicDriveDiT（FVD 94.84）やInfinityDrive（FVD 70.06）との比較で自らのFVD 82.8が中間であること、ビデオエンコーダにDCAEを用いるため3D-VAEと比べて視覚アーティファクトが入る可能性を挙げている。また、計画性能はフロントカメラのみ、追加の監視なしという条件で、他の手法はマルチビューや追加監視を使っている。評価の多くが検証セットでの報告値比較であり、オープンループ評価である。NuScenesとNAVSIMの計画はシミュレーション評価であり、実車での安全性は検証されていない。著者らは明記していないが、ビデオ生成の推論速度は1フレーム約2秒（DiT 100ステップ）で、実時間のシミュレーション用途には向かない。
産業へのインパクト
この論文は、拡散モデルと自己回帰生成を組み合わせることで、世界モデルがビデオ生成とモーションプランニングを単一フレームワークで扱えることを示した。当時はビデオ拡散とGPT型の二者択一だったが、Eponaは時間因果を導入した拡散モデルが両方の利点を併せ持つことを実証した。現在では、この考え方（時間方向の自己回帰と拡散による高精細生成の統合）は多くの世界モデル設計の前提となっている。自動運転の実装にとっては、生成モデルが直接プランナーとなり得ることを示した点が重要であり、追加アノテーションなしで交通ルール（赤信号停止など）を自己教師ありで学習できることも示した。