EMMA：自動運転のためのエンドツーエンド・マルチモーダルモデル
1分まとめ
EMMAはGeminiなどのMLLMを基盤に、カメラ画像とテキストプロンプトから計画軌道・3D物体検出・道路グラフをテキストとして直接生成する統合モデルである。nuScenesの動作計画で最高性能（SOTA）を達成し、3D検出でも競争力のある結果を報告した。
- カメラ画像とナビ指示・自車履歴を入力とし、計画軌道・3D物体検出・道路グラフをテキスト出力するMLLM基盤のエンドツーエンドモデルを提案した。
- nuScenesの計画ベンチマークで、自己教師ありの先行手法（BEV-Plannerなど）比17.1%改善するAvg L2 0.29（EMMA+）を達成した。
- 内部評価の5秒先L2では、EMMA+（CoT付き）が0.543を記録し、Wayformer比13.5%改善したと報告している。
- 評価は開ループ中心で、クローズドループや実車での安全性は未検証。Geminiの事前学習重みに依存し、カメラのみでLiDAR/レーダー非対応である。
- 複数タスクの同時学習により、個別学習比で各タスクが最大5.5%（±1.1%）向上し、専門モデルを上回る汎用モデルの可能性を示した。
課題
従来の自動運転システムは、認識・予測・計画を個別モジュールで構成し、モジュール間を専門家が設計した固定インターフェースで接続する。この設計はデバッグは容易だが、新規環境への適応やスケーリングに課題がある。既存のエンドツーエンド手法も特定タスクに特化し、学習データが限られ、稀なシナリオへの汎化が難しい。EMMAは、膨大なデータで事前学習されたMLLMの世界知識と推論能力を自動運転の中心に据えることで、この課題を解決しようとした。
提案手法
EMMAはGeminiを基盤とし、サラウンドビューカメラ映像を入力とし、ナビ指示（intent）と自車の過去軌道をテキストで与える。出力も軌道・3Dボックス・道路グラフをすべてテキスト（浮動小数点数座標列）として生成する。タスクはプロンプトで切り替え、視覚質問応答（VQA）として定式化する。計画は自車の未来位置のみを教師とする自己教師あり学習で、HD地図を必要としない。チェーンオブソート推論では、シーン記述→重要物体の3D位置→その行動記述→運転メタ判断の順に根拠を生成してから軌道を予測し、そのラベルは既存の認識・予測モデルを用いて自動生成する。3D物体検出はPix2Seqに倣ったテキストボックス表現を採用し、道路グラフはポリラインをテキスト化する。複数タスクはデータセットサイズ比でサンプリングして同時に学習する。
評価と結果
評価は主に開ループベンチマークで行われた。nuScenesの計画評価では、2秒の履歴から3秒先を予測し、EMMA+がAvg L2 0.29を達成した。これは自己教師ありの先行手法（Ego-MLP*、BEV-Planner、共にAvg L2 0.35）に対して17.1%の改善にあたる。WOMD準拠の内部計画ベンチマークでは、5秒先L2でEMMA+（CoT付き）が0.543を記録し、再現したWayformerベースライン（0.628）を13.5%下回った。カメラ主・3D物体検出（WOD、LETマッチング）では、BEVFormerに対して同一再現率で車両精度が16.3%向上、同一精度で再現率が5.5%向上したと報告している。多タスク同時学習では、計画・検出・道路グラフの3タスクを同時学習した場合、単体学習比で各タスクが最大5.5%（検出、±1.1%）向上した。ただし、WOMDの数値は公開リーダーボードではなく内部データでの評価である。
nuScenes計画ベンチマークでのAvg L2比較（低いほど良い）
| 手法 | Avg L2 (m) |
|---|---|
| UniAD | 0.66 |
| DriveVLM | 0.40 |
| VAD | 0.37 |
| OmniDrive | 0.33 |
| Ego-MLP* | 0.35 |
| BEV-Planner | 0.35 |
| EMMA (random init) | 0.37 |
| EMMA | 0.32 |
| EMMA+ | 0.29 |
nuScenes計画ベンチマークにおけるAvg L2比較
CoT推論成分の組み合わせによる計画品質の相対改善
WOMD準拠内部ベンチマークにおける5秒先L2
新規性
MLLMを自動運転の主要モデルとして位置付け、計画・認識・道路グラフを統一テキスト表現で共同学習する枠組みを示した点が新規だが、要素技術自体は既存の組み合わせである。
限界
著者はAppendixで、入力フレーム数が最大4枚で長期依存に弱いこと、LiDAR/レーダー非対応のため3次元空間推論に限界があること、予測信号の検証が難しいこと、クローズドループ評価に必要なセンサーシミュレーションの計算コストが高いこと、オープンループ評価自体の限界（nuScenesは履歴の外挿で解けるシナリオが多い）を挙げている。また、モデルは非公開のGemini事前学習重みに依存し、内部データセットも非公開のため、第三者が追試することは困難である。評価は開ループが中心で、閉ループ安全性や実車での性能は未検証。推論速度もレイテンシ最適化版で3 FPS（UniADの1.8 FPS比67%高速化）と報告されているが、量産車載にはさらなる最適化が必要と考えられる。これらの課題の一部は、その後の研究でより長いビデオ入力やLiDAR融合、クローズドループ評価の手法が進展することで対処されてきたが、本論文の時点では未解決だった。
産業へのインパクト
本論文は、自動運転タスクをMLLMのVQAとして定式化し、計画・認識・道路グラフをすべてテキストで扱う枠組みを提示した。これにより、プロンプトでタスクを切り替え、複数タスクを単一モデルで共同学習するという、その後の自動運転向けLLM研究の標準的な構成が確立された。また、カメラのみ・HD地図なし・自己教師ありという設定で最高性能を達成したことは、モジュール式パイプラインの前提を問い直す契機となった。一方で、基盤モデルとデータが非公開であり、再現研究を進めにくくした負の側面もある。日本の自動車産業にとっては、MLLM活用の可能性と実装上の制約（計算コスト、検証容易性、センサーフュージョン）を同時に認識するための基準点となる。