3Dマルチオブジェクト追跡：ベースラインと新しい評価指標
1分まとめ
3Dカルマンフィルタとハンガリアン法を組み合わせた簡素な追跡システムが、KITTIとnuScenesで当時の最高性能を達成し、207.4 FPSで動作した。信頼度閾値に依存しない新指標AMOTAとsAMOTAなどを提案し、以後の3D MOT評価の標準となった。
- 3Dカルマンフィルタとハンガリアン法による古典的な組み合わせだけで、学習不要のオンライン3D MOTシステムを構築した。
- KITTI valセットのCarでsAMOTA 93.28（3D IoU閾値0.25）を記録し、FANTrackの82.97とmmMOTの70.61を上回った。
- 検出器を除く追跡部分はCPUで207.4 FPSを達成し、GPUを要する既存手法より高速だった。
- 評価はKITTIとnuScenesのvalセットのみで、公式テストセットでの3D評価は行われていない。
- 提案したAMOTAとsAMOTA系指標はnuScenesの3D MOT評価で主要指標となり、この分野の標準を定めた。
課題
既存の3D MOT手法は精度追求のあまりシステムが複雑化・重計算化し、どのモジュールが効いているかが不明瞭だった。また、KITTIは2D平面でのMOT評価しか提供しておらず、3D空間での公平な比較ができなかった。さらにCLEAR指標（MOTA/MOTP）は追跡結果の信頼度を考慮しないため、利用者の手動閾値調整が必要だった。
提案手法
提案システムAB3DMOTは、LiDAR点群から事前学習済みの3D検出器（KITTIではPointRCNN、nuScenesではMegvii）で3D検出を得る。追跡は状態ベクトル(x,y,z,θ,l,w,h,s,vx,vy,vz)を持つ3Dカルマンフィルタ（等速度モデル）と、3D IoUまたは中心距離をコストとするハンガリアン法によるデータアソシエーションで構成される。方位角の差がπ/2を超える場合にπを加える方位補正を導入し、未対応検出は3フレーム（Fmin=3）連続で検出された場合に新トラジェクトリとして生まれ、未対応トラジェクトリは2フレーム（Agemax=2）追跡した後に削除する。検出器以外は学習を必要としない。
評価と結果
KITTI valセットのCar（3D IoU閾値0.25）で、sAMOTA 93.28、AMOTA 45.43、MOTA 86.24、IDS 0、FRAG 15を記録し、FANTrack（sAMOTA 82.97、MOTA 74.30）およびmmMOT（sAMOTA 70.61、MOTA 74.07）を上回った。IoU閾値0.5ではsAMOTA 90.38、MOTA 84.02。Pedestrian（IoU 0.25）ではsAMOTA 75.85、MOTA 70.90、CyclistではsAMOTA 91.36、MOTA 84.87。nuScenes valセット（中心距離2m）ではsAMOTA 39.90、MOTA 31.40で、FANTrack（sAMOTA 19.64、MOTA 18.60）とmmMOT（sAMOTA 23.93、MOTA 19.82）を上回った。比較は全て同一の3D検出結果を入力として行われた。推論速度はKITTI valで207.4 FPS（CPU、検出器除く）。
KITTI valセット（Car）における3D MOT性能（3D IoU閾値0.5）
| 手法 | 入力 | sAMOTA | AMOTA | MOTA | IDS | FPS |
|---|---|---|---|---|---|---|
| mmMOT | 2D+3D | 69.14 | 32.81 | 73.53 | 10 | 4.8 (GPU) |
| FANTrack | 2D+3D | 80.14 | 38.16 | 72.71 | 36 | 25.0 (GPU) |
| Ours | 3D | 90.38 | 42.79 | 84.02 | 0 | 207.4 (CPU) |
KITTI valセットCarのsAMOTA比較（3D IoU閾値0.5）
nuScenes valセットのsAMOTA比較（中心距離2m）
新規性
新規性はアルゴリズムの革新ではなく、古典的な3Dカルマンフィルタ＋ハンガリアン法だけでも当時の最高性能を達成できることを示した点と、3D空間でのMOT評価ツールと信頼度非依存型指標を初めて導入した点にある。
限界
著者による明示的なlimitations節はない。論文から読み取れる制約として、(1) 3D評価はKITTIとnuScenesのvalセットのみで、当時のKITTIテストセットは2D評価しかできず、公式の3Dリーダーボードが存在しなかった。(2) 追跡性能は3D検出品質に強く依存し、単眼検出器に置き換えるとsAMOTAが93.28から63.27に低下する（Table IV (a)）。(3) 等速度モデルはカメラの自己運動を陽に補正しないため、急旋回や急加減速では追従が困難になる可能性がある。(4) 提案指標AMOTAは高リコールなシステムに偏る（論文も言及）。これらのうち、自己運動補正と学習ベースのデータアソシエーションは後続研究で取り組まれた。nuScenesはAMOTAを公式指標として採用し、現在に至る。
産業へのインパクト
この論文は、複雑な深層学習ベースの追跡手法が並んでいた時期に、古典的なフィルタと割当てが十分に強いベースラインであることを実証した。3D空間で追跡すること自体が2Dでの誤対応を減らすという知見は、今日の自動運転向けセンサフュージョン設計にも通じる。また、提案された3D評価ツールとAMOTA/sAMOTA指標は、その後のnuScenes 3D MOTベンチマークに採用され、業界標準の評価基盤となった。日本メーカーにとっては、検出器さえ揃えれば追加学習なしでリアルタイム動作する追跡モジュールとして実装コストが低く、ベースラインとして今なお参照価値が高い。