Wayformer: 単純で効率的なアテンションネットワークによるモーション予測
1分まとめ
Wayformerは、モダリティ別エンコーダを排した単一のTransformerエンコーダでシーンを表現し、WOMDとArgoverseでSOTAを達成した。入力融合ではearly fusionが最も単純でありながら最高品質を実現し、factorized attentionとlatent query attentionにより効率と品質のトレードオフを制御できることを示した。
- Wayformerは、モダリティ別エンコーダを持たない単一のアテンションエンコーダでシーンを集約するモーション予測モデルを提案し、WOMDでminFDE 1.128（比較対象のSceneTransformerは1.212）を達成した。
- factorized attentionとlatent query attentionを導入し、レイテンシを2〜16倍削減しても品質が劣化しないことを示した。
- 評価はWOMDとArgoverseのオフラインデータセットのリーダーボードが中心で、実車評価の詳細は示されていない。
- 複雑なモジュール設計に頼らずとも単純な初期融合がSOTAを達成できることを実証し、その後のシンプルなアーキテクチャの基盤となった。
課題
既存のモーション予測モデルは、モダリティごとに専用のエンコーダや前処理を用意するなど、システムが複雑でスケールやチューニングが難しい。モダリティを逐次処理する手法は処理順序の設計が困難であり、異種入力の統合方法が体系的に研究されていなかった。
提案手法
シーンエンコーダとしてlate fusion（モダリティ別エンコーダ）、early fusion（単一のクロスモーダルエンコーダ）、hierarchical fusion（両者の組み合わせ）の3方式を比較。各モダリティは共通次元に射影し、学習された位置埋め込みを加えた上で、時間・空間次元を統合または分離して自己アテンションを適用する。高速化手法として、時間・空間にアテンションを分離するfactorized attention（sequential / interleaved）と、入力を潜在クエリに圧縮するlatent query attentionを検討した。デコーダはk個の学習クエリをクロスアテンションでシーンエンコーディングと関連付け、混合ガウスのパラメータを出力する。損失は正解軌道に最も近いガウス成分の分類損失と回帰損失の和で訓練する。
評価と結果
評価はWaymo Open Motion Dataset（WOMD）とArgoverseで実施。指標はminFDE、minADE、MR、Overlap、mAPで、上位k=6モードを集約して評価した。ベースラインはSceneTransformer、MultiPath++など当時のSOTAモデル。Wayformer Early Fusion（LQ+Multi-Axis）はWOMDでminFDE 1.128、minADE 0.545、MR 0.123、Overlap 0.127、mAP 0.419を達成し、SceneTransformer（minFDE 1.212、minADE 0.612）やMultiPath++（minFDE 1.158、minADE 0.556）を上回った。ArgoverseではminFDE 1.1615で最高性能（SOTA）を達成した。アブレーションでは、低レイテンシ領域ではlate fusionが有利、高容量ではearly fusionが有利で、latent query attentionが全融合方式でレイテンシを2〜16倍削減しつつ品質を維持した。
WOMD 2021リーダーボードでの主要指標比較（Wayformerとベースライン）
| モデル | minFDE (↓) | minADE (↓) | MR (↓) | mAP (↑) |
|---|---|---|---|---|
| SceneTransformer | 1.212 | 0.612 | 0.156 | 0.279 |
| MultiPath++ | 1.158 | 0.556 | 0.134 | 0.409 |
| Wayformer Early (LQ+Multi-Axis) | 1.128 | 0.545 | 0.123 | 0.419 |
新規性
モダリティ別エンコーダを廃したearly fusionがSOTAを達成することを体系的比較により示した点が新規。factorized attentionとlatent query attentionの適用自体は既存技術の組み合わせだが、モーション予測の統一的な設計空間として評価した点に価値がある。
限界
著者が明記した限界は、(1)エゴセントリックな座標系により密なシーンで計算が重複する、(2)スパースな状態入力のみで視覚的・詳細な形状情報を欠く、(3)エージェントごとに独立に将来を予測し時間的にも条件付き独立であるという点（Section 7）。加えて、評価はWOMDとArgoverseの2つのオフラインデータセットに基づくリーダーボードが中心で、実車での検証は「simulation and on real AVs」と述べられるが詳細は示されていない。ベースラインは当時のSOTAであり比較として適切。訓練には16 TPU v3コアを使用し、推論レイテンシはGPU上で測定された。後続の研究では、この単純化されたアーキテクチャの方向性が踏襲され、より大規模でインタラクティブな予測へと発展したが、本論文の結果は当時の設計空間の理解に大きな影響を与えた。
産業へのインパクト
当時のモーション予測はモダリティ専用の複雑なモジュールを組み合わせるのが主流だった。Wayformerは単一のTransformerエンコーダで異種入力を統合し、SOTAを達成できることを示し、その後の研究でシンプルなアーキテクチャが標準となる方向性を確立した。また、入力融合戦略とアテンション高速化手法を系統的に比較したことで、設計空間の理解と効率的なモデル設計の指針を提供した。現在でもWOMDやArgoverseはベンチマークとして使われており、本書が提示した融合方式の比較はモーションフォーキャスティングの基本的な分析枠組みとして定着している。