Social GAN：生成的敵対ネットワークによる社会的に受容可能な軌道予測
1分まとめ
歩行者軌道予測にGANを導入し、プーリング機構とvariety lossにより多様で社会的に受容可能な将来軌道を生成できることを示した。ETH/UCYデータセットでADE/FDEを改善し、S-LSTM比16倍の高速化を報告した。
- 歩行者の将来軌道予測にGANを導入し、プーリング機構とvariety lossで複数の社会的に受容可能な軌道を生成する手法を提案した。
- ETH/UCYデータセットの平均で、S-LSTMのADE 0.45／0.72メートルをSGAN-20V-20は0.39／0.58メートルに改善した（t_pred=8／12）。
- variety lossなしではサンプル数を増やしても精度が改善せず、k=100で平均33%改善した（Figure 4）。
- S-LSTMと比べて計算が16倍高速で、同じ時間で20サンプルを生成できる（Table 2）。
- 評価は公開データセットのみで実環境テストはなく、S-LSTMの再現結果はLSTMを下回るなど当時のベースライン再現に課題がある。
課題
既存の軌道予測はL2損失により平均的な軌道しか学習できず、歩行者軌道の多様性を表現できなかった。また局所近傍のみの相互作用モデルではシーン全体の歩行者間相互作用を効率的に扱えなかった。
提案手法
RNN encoder-decoderを生成器、RNN encoderを識別器とするGANを構成した。生成器は過去軌道をLSTMでエンコードし、プーリングモジュールが全歩行者の隠れ状態をMLPとmax-poolingで集約して各歩行者にグローバルな文脈ベクトルを提供する。デコーダはその文脈ベクトルとノイズzで初期化され、将来座標を直接予測する。多様性を確保するため、k個のサンプルからL2距離最小のものを選ぶvariety loss（L_variety = min_k ||Y_i - Ŷ_i^(k)||_2）を導入した。隠れ状態はエンコーダ16次元、デコーダ32次元、バッチサイズ64、200エポック、Adam（学習率0.001）で学習した。
評価と結果
ETHとUCYの5データセット（ETH、HOTEL、UNIV、ZARA1、ZARA2）でleave-one-out評価を行った。観測8タイムステップ（3.2秒）から将来8（3.2秒）と12（4.8秒）ステップを予測し、ADEとFDEを計測した。ベースラインはLinear、LSTM、S-LSTM。全データセット平均で、SGAN-20V-20はADE 0.39／0.58（t_pred=8／12）、FDE 0.78／1.18で、S-LSTMのADE 0.45／0.72、FDE 0.91／1.54を上回った。ただしプーリングなしのSGAN-20V-20はADE 0.41／0.61、FDE 0.81／1.21でプーリングありよりわずかに良く、プーリングの定量的効果は限定的だった。速度はS-LSTM比16倍（Tesla P100上で0.12秒 vs 1.79秒、t_pred=8）と報告した。
各手法のADE/FDE比較（t_pred=8／12、単位：メートル）
| 手法 | ADE（全データセット平均） | FDE（全データセット平均） |
|---|---|---|
| Linear | 0.54 / 0.79 | 0.98 / 1.59 |
| LSTM | 0.43 / 0.70 | 0.91 / 1.52 |
| S-LSTM | 0.45 / 0.72 | 0.91 / 1.54 |
| SGAN-1V-1 | 0.49 / 0.74 | 1.00 / 1.54 |
| SGAN-1V-20 | 0.45 / 0.67 | 0.93 / 1.41 |
| SGAN-20V-20 | 0.39 / 0.58 | 0.78 / 1.18 |
| SGAN-20VP-20 | 0.41 / 0.61 | 0.81 / 1.21 |
全データセット平均ADEの比較（t_pred=8）
全データセット平均FDEの比較（t_pred=8）
新規性
GANを軌道予測に適用し、variety lossで多様なサンプル生成を促し、MLPとmax-poolingによるグローバルな歩行者間相互作用の集約を実現した点が新規である。既存のS-LSTMのグリッドベースのソーシャルプーリングを置き換え、L2損失のみで平均軌道を学習する問題を克服した。
限界
著者による限界の明記はない。当時の限界として、(1) S-LSTMの再現結果がLSTMを下回っており、ベースライン比較の信頼性が十分でない、(2) 定量的にはプーリングの効果が明確でなく、社会的受容性の評価が定性的な図の提示に留まる、(3) 予測は実環境でのロボットや自動車への搭載検証がない、(4) 評価指標はL2距離ベースのADE/FDEのみで、衝突回避率や人間による受容性評価は行われていない。その後の研究では、Transformerや拡散モデルなど異なるアーキテクチャが登場し、シミュレーション環境での衝突回避評価や大規模データセットが整備されたが、Social GANのGANとプーリングの枠組みは以降の軌道予測研究の土台となった。
産業へのインパクト
この論文は歩行者軌道予測にGANを導入した最初期の仕事であり、その後の軌道予測研究が依拠する「複数の社会的に受容可能な軌道を生成する」という問題設定を確立した。特にvariety lossとグローバルな相互作用を扱うプーリングは、単一の平均軌道を予測する従来手法からの転換点となった。評価に用いたETH/UCYデータセットとADE/FDE指標は、現在でも軌道予測の標準的な評価設定として使われ続けている。ただし、実際の自動運転システムへの応用には、センサノイズや地図情報との統合、実環境での安全性検証など、その後の研究が必要である。