TNT: 目標駆動型軌跡予測
1分まとめ
TNTは、将来の目標状態を離散候補として予測し、目標に条件づけて軌跡を生成・選択する3段階構成の軌跡予測フレームワークであり、Argoverse・INTERACTION・Stanford Drone・社内データセットで最高性能（SOTA）を達成したと報告している。
- 将来の目標状態を離散化した候補から予測し、各目標に条件づけて軌跡を生成、スコアリングと選択を行う3段構成の軌跡予測モデルTNTを提案した。
- Argoverse検証セットではminFDE6が1.29mで、再実装したMultiPathの1.68mやDESIREの1.77mを上回った。
- Argoverseテストセットではリーダーボード優勝者の1.42mに対しTNTは1.54mで、検証セットほどの優位は確認できなかった。
- 目標の離散化と目標条件付き軌跡生成というアイデアは、その後のアンカー／ゴールベース軌跡予測の土台となった。
- 評価は2020年当時のArgoverseなどに限られ、著者による限界の明示はない。比較相手は再実装である。
課題
軌跡予測の多峰性を潜在変数で表現する既存手法（CVAE・GANなど）は、意図が解釈できず、テスト時のサンプリングが必要で、モード崩壊の対策も煩雑だった。また、軌跡全体をアンカーとして量子化する手法は高次元で不安定だった。TNTは、将来の不確実性が目標状態の分布に集約されるという観察に基づき、解釈可能で決定論的に多様な予測を生成する枠組みを提案した。
提案手法
TNTは3段階で構成される。まず、コンテキストエンコーダ（HD地図が使える場合はVectorNet、画像のみの場合はResNet-50）で周辺環境とエージェントの相互作用を特徴化する。第1段階の目標予測では、地図レーン上のサンプリング点またはエージェント周囲のグリッド点からN個（例：1000個）の目標候補を生成し、各候補の離散確率と連続オフセットを予測する。上位M個（例：50個）の目標を残す。第2段階の目標条件付き運動推定では、各目標へ到達する最尤軌跡を2層MLPで一括出力する（時間ステップ間は条件付き独立）。第3段階のスコアリングと選択では、最大エントロピーモデルで軌跡候補の尤度を推定し、重複を除去して最終的にK本の軌跡を選ぶ。損失は3段階の重み付き和（λ1=0.1, λ2=1.0, λ3=0.1）で、エンドツーエンドに訓練される。
評価と結果
評価は4つのベンチマークで実施された。Argoverse検証セット（観測2秒、予測3秒、333Kシーケンス）ではminFDE6=1.29m、minADE6=0.73m、Miss Rate@2m=0.09で、再実装したDESIRE（1.77／0.92／0.18）とMultiPath（1.68／0.80／0.14）を上回った。INTERACTION検証セットではminFDE6=0.67m、minADE6=0.21m（DESIRE: 0.88／0.32、MultiPath: 0.99／0.30）。歩行者ではPAIDでminFDE3=0.32m、minADE3=0.18m（DESIRE: 0.59／0.29、MultiPath: 0.43／0.23）。SDDではピクセル単位でminFDE5=21.16、minADE5=12.23（PECNet: 25.98／12.79）。Argoverseテストセットでは単一モデルでminFDE6=1.54m、minADE6=0.94m、MR=0.13であり、当時のリーダーボード優勝者（1.42／0.97／0.13）と同等だった。
Argoverse検証セットにおける比較（K=6）
| 手法 | minFDE6 (m) | minADE6 (m) | Miss Rate@2m |
|---|---|---|---|
| DESIRE | 1.77 | 0.92 | 0.18 |
| MultiPath | 1.68 | 0.80 | 0.14 |
| TNT (提案) | 1.29 | 0.73 | 0.09 |
TNTのステージ別性能推移（Argoverse検証セット）
INTERACTION検証セットにおけるminFDE6比較
新規性
将来の不確実性を2次元の目標点の離散分布に分解し、目標条件付きの軌跡生成とスコアリングをエンドツーエンドで訓練した点。既存のアンカー法が軌跡全体を量子化するのに対し、TNTは低次元の目標点に量子化するため、推定が安定し、解釈性が高い。
限界
著者によるlimitationsの明示はない。論文から読み取れる制約として、目標候補の設計（レーン上の点かグリッド点か）に依存し、サンプリング密度と計算コストのトレードオフがある。また、数秒先の予測を想定し、長い時間地平では中間目標の反復が必要であると著者らは結論で述べている。比較相手（DESIRE、MultiPath）は当時の実装をVectorNetで再実装したものであり、オリジナル実装との差異は検証されていない。さらに、Argoverseテストセットでは優勝者との差は小さく、汎化性能は検証セットほど顕著ではない。評価されたデータセットは2020年時点のもので、現在のベンチマークでの性能は不明である。この後の研究で、ゴールベース手法の改良や、より大規模なデータセットでの評価が進んだ。
産業へのインパクト
この論文は、軌跡予測の多峰性を「目標状態の離散分布」として表現するという枠組みを確立し、潜在変数モデルから解釈可能な目標ベース手法への転換点となった。この考え方は、その後のアンカーやゴールを明示的に用いる軌跡予測モデルの基礎となり、自動運転における実装でも広く採用された。ただし、現在では評価データセットや指標が進化しており、TNT自体の優位性は当時のベンチマークに限定される。