深い関連付け指標を用いたシンプルなオンライン・リアルタイム追跡
1分まとめ
SORTに外観特徴量を統合したDeep SORTを提案し、MOT16でIDスイッチを45%削減した。外観特徴量の学習をオフラインに分離し、オンラインではカルマンフィルタとハンガリアン法による逐次追跡を維持する実用的な設計が、その後の追跡手法の標準的な基盤となった。
- SORTの関連付け指標を外観特徴量に置き換え、単一仮説追跡の枠組みを保ったままIDスイッチを45%削減した。
- MOT16の非標準検出を使う比較で、オンライン手法として最少のIDスイッチ781を達成し、MOTAは61.4だった。
- 外観特徴量の学習をオフラインの事前学習に分離し、オンライン処理は毎秒40フレームで動作する実用性を維持した。
- 評価は人物追跡のMOT16のみで、移動カメラやトップビューを含むが、車載の俯瞰カメラや複数クラスへの一般化は未検証である。
- この論文は、外観特徴量を組み込んだ軽量なオンライン追跡の枠組みを確立し、その後の追跡手法が拡張する基盤となった。
課題
SORTはカルマンフィルタとバウンディングボックスの重なり（IoU）に基づく関連付けを行うため、オクルージョン中の運動予測が不確実になるとIDスイッチが多発する。既存の高精度な追跡手法はバッチ処理や高い計算複雑性を伴い、オンライン用途には適さない。
提案手法
SORTの枠組みに外観情報を統合したDeep SORTを提案する。関連付けコストは、カルマンフィルタの予測と検出のマハラノビス距離と、外観特徴量の余弦距離の重み付き和で定義する。外観特徴量は、110万枚以上の人物画像を含む大規模人物再識別データセット（MARS）で事前学習したCNN（広い残差ネットワーク、パラメータ数2,800,864）で抽出し、ネットワーク出力はバッチ正規化とℓ2正規化により単位超球面に射影する。各トラックは直近100個の外観特徴量をギャラリーとして保持し、最小余弦距離を外観コストとする。さらに、トラックの年齢（最後に検出と関連付けされてからのフレーム数）が小さいものから優先的に割り当てるマッチングカスケードを導入し、不確実性の高い古いトラックが誤って関連付けられるのを防ぐ。最終段階では未確認・未対応のトラックに対してIoUによる関連付けを実行する。実験ではλ=0（外観コストのみ、マハラノビス距離はゲートとして使用）、最大年齢Amax=30フレーム、検出信頼度しきい値0.3を用いた。
評価と結果
MOT16ベンチマーク（7つのテストシーケンス）で評価した。検出器にはYuら[16]のFaster RCNNによる検出結果を使用し、SORTを同じ検出結果で再実行して比較した。Deep SORTはIDスイッチを1423から781へ約45%削減し、MOTA 61.4、MOTP 79.1、MT 32.8%、ML 18.2%、FM 2008、FP 12852、FN 56668を達成した。SORTはMOTA 59.8、MOTP 79.6、MT 25.4%、ML 22.7%、ID 1423、FM 1835、FP 8698、FN 63245だった。オンライン手法の中ではIDスイッチが最少であり、MOTAは競争的だった。動作速度は約20Hz（特徴生成に約半分の時間）と報告されている。
MOT16における追跡性能の比較
| 手法 | モード | MOTA | MOTP | MT | ML | ID | FM | FP | FN | Runtime |
|---|---|---|---|---|---|---|---|---|---|---|
| KDNT | BATCH | 68.2 | 79.4 | 41.0% | 19.0% | 933 | 1093 | 11479 | 45605 | 0.7 Hz |
| LMP p | BATCH | 71.0 | 80.2 | 46.9% | 21.9% | 434 | 587 | 7880 | 44564 | 0.5 Hz |
| MCMOT HDM | BATCH | 62.4 | 78.3 | 31.5% | 24.2% | 1394 | 1318 | 9855 | 57257 | 35 Hz |
| NOMTwSDP16 | BATCH | 62.2 | 79.6 | 32.5% | 31.1% | 406 | 642 | 5119 | 63352 | 3 Hz |
| EAMTT | ONLINE | 52.5 | 78.8 | 19.0% | 34.9% | 910 | 1321 | 4407 | 81223 | 12 Hz |
| POI | ONLINE | 66.1 | 79.5 | 34.0% | 20.8% | 805 | 3093 | 5061 | 55914 | 10 Hz |
| SORT | ONLINE | 59.8 | 79.6 | 25.4% | 22.7% | 1423 | 1835 | 8698 | 63245 | 60 Hz |
| Deep SORT (Ours) | ONLINE | 61.4 | 79.1 | 32.8% | 18.2% | 781 | 2008 | 12852 | 56668 | 40 Hz |
MOT16におけるIDスイッチの比較
MOT16におけるMOTAスコアの比較
新規性
既存のSORTに外観特徴量を統合し、マッチングカスケードを導入した点が新規性である。外観特徴量の学習をオフラインに分離したことは、実用性を高める設計上の工夫だが、構成要素自体は既存技術の組み合わせである。
限界
評価はMOT16の人物追跡に限定されており、車載カメラのような俯瞰視点や複数クラスの追跡への一般化は検証されていない。論文内で著者が明示した限界は、誤検出（FP）の増加であり、検出信頼度しきい値を上げることで改善可能としている。また、外観特徴量が有効なのは事前学習データセットの人物に限られ、異なるドメインでは再学習が必要になる。さらに、計算にはGPUが必要であり、エッジ環境でのリアルタイム性は当時のGPUに依存する。その後の研究では、検出器の改善や外観特徴量の学習方法の進展により、この枠組みは拡張されている。
産業へのインパクト
この論文は、シンプルで計算効率のよいオンライン追跡の枠組みに、オフラインで学習した外観特徴量を組み合わせるという設計を確立した。追跡の精度向上をオンラインの複雑な計算に頼らず、事前学習に委ねることで、リアルタイム性を保ちながらIDスイッチを大幅に削減できることを示した。このアプローチは、その後の多物体追跡研究で広く採用され、実用的な追跡システムの基盤となった。