BEVDet：BEV（鳥瞰図表現）における高性能マルチカメラ3D物体検出
1分まとめ
BEVDetは、カメラ画像をBEVに変換して3D物体検出を行うパラダイムを確立した。BEV空間専用のデータ拡張とScale-NMSにより、nuScenes valで従来手法を上回る精度と速度の両立を実現した。
- BEVDetは、カメラ画像をBEV（鳥瞰図表現）に変換して3D物体検出を行うフレームワークを提案した。BEVDet-TinyはnuScenes valでmAP 31.2%／NDS 39.2%を達成し、FCOS3D（mAP 29.5%／NDS 37.2%）を上回りつつ計算量は約11%（215.3 GFLOPs）、推論速度は9.2倍（15.6 FPS）である。
- BEV空間専用のデータ拡張（反転・回転・スケーリング）が過学習を抑え、画像視点の拡張だけでは効果が出ないことを示した。BEV拡張を加えることでmAPがピークで+8.6%向上した（Table 4）。
- 小物体を対象にクラス別のスケーリングを行うScale-NMSにより、歩行者で+4.8% AP、トラフィックコーンで+7.5% AP向上し、全体のmAPを29.5%から31.2%に引き上げた（Table 5）。
- 評価はnuScenesのval/testセットのみで、LiDAR点群を使わないカメラのみの手法である。LiDARベースのCenterPoint（mAP 56.4%）には及ばない。推論速度は単一のNVIDIA GeForce RTX 3090ベースであり、車載ECUでの実時間性は検証されていない。
課題
カメラによる3D物体検出では、FCOS3DやPGDに代表される画像視点ベースの手法が主流であり、奥行き・速度・向きなどの3次元情報の推定が弱かった。一方、BEVセマンティックセグメンテーションの分野ではBEV表現を用いた手法が台頭しており、3D物体検出もBEV空間で行えば物体の位置・大きさ・向き・速度を直接的に扱える可能性があった。しかし、単純に既存モジュールを組み合わせただけではBEV空間での学習が過学習し、性能が出なかった。
提案手法
BEVDetは4つのモジュールで構成される。画像視点エンコーダ（backbone + neck）で複数カメラ画像の特徴を抽出し、ビューTransformer（Lift-Splat-Shoot）でBEV特徴に変換し、BEVエンコーダでさらに特徴を符号化し、CenterPointの1段目のヘッドで3D物体検出を行う。新規性は次の2点にある。(1) BEV空間専用のデータ拡張。ビューTransformerが画像視点とBEV空間を画素単位で対応付けるため、画像視点の拡張（反転・クロップ等）はBEV空間での正則化効果を持たない。そこで、BEV特徴と3D物体のアノテーションに対して反転・回転（±22.5度）・スケーリング（0.95〜1.05）を施す専用のデータ拡張を導入した。(2) Scale-NMS。BEV空間では歩行者やトラフィックコーンなどの小物体の占める面積がBEV解像度（0.8 m）より小さく、従来のIoUベースNMSでは冗長な予測を除去できない。クラスごとのスケーリング係数で物体サイズを拡大してからNMSを行う。バリアはサイズが多様なためスケーリング対象外とした。また、ビューTransformerの累積和演算を補助インデックスによる行列演算に置き換え、推論レイテンシを53.3%削減（137 msから64 ms）した。
評価と結果
評価はnuScenes（1000シーン、6カメラ、10クラス）のvalセットとtestセットで行われた。指標は公式のmAPとNDSを中心に報告されている。比較対象はFCOS3D、DETR3D、PGDなどの当時のカメラベース手法。BEVDet-Tiny（入力704×256）はmAP 31.2%・NDS 39.2%・215.3 GFLOPs・15.6 FPSで、FCOS3D（mAP 29.5%・NDS 37.2%・2,008.2 GFLOPs・1.7 FPS）を上回った。BEVDet-Base（入力1600×640）はmAP 39.3%・NDS 47.2%で、PGD（mAP 33.5%・NDS 40.9%）を+5.8% mAP・+6.3% NDS上回った。testセットではBEVDet-BaseがmAP 42.2%・NDS 48.2%で、カメラのみの手法として当時のリーダーボードで1位となった。アブレーションでは、データ拡張なしのベースライン（mAP 23.0%がピーク）に対し、画像視点拡張とBEV空間拡張の併用でピークmAP 31.6%、最終エポックで31.2%となり、過学習が大幅に改善された（Table 4）。
nuScenes valセットにおける各手法の比較（Table 2より抜粋）
| 手法 | 入力サイズ | mAP (%) | NDS (%) | GFLOPs | FPS |
|---|---|---|---|---|---|
| FCOS3D | 1600×900 | 29.5 | 37.2 | 2,008.2 | 1.7 |
| DETR3D | 1600×900 | 30.3 | 37.4 | 1,016.8 | 2.0 |
| PGD | 1600×900 | 33.5 | 40.9 | 2,223.0 | 1.4 |
| BEVDet-Tiny | 704×256 | 31.2 | 39.2 | 215.3 | 15.6 |
| BEVDet-Base | 1600×640 | 39.3 | 47.2 | 2,962.6 | 1.9 |
nuScenes val におけるmAPと計算量の関係
Scale-NMS によるクラス別APの変化（nuScenes val）
新規性
既存のモジュール（Lift-Splat-Shoot、CenterPointなど）の組み合わせに、BEV空間専用のデータ拡張とScale-NMSという2つの新規要素を加えることで、BEVベース3D物体検出を実用的な性能に引き上げた点が新規性である。
限界
著者による明記はないが、以下の限界が存在する。第一に、評価がnuScenes単一データセットのみで、KITTIやWaymoなど他のデータセットでの汎用性は確認されていない。第二に、カメラのみの手法であり、同時期のLiDARベース手法（CenterPointのmAP 56.4%）と比較すると精度は低く、BEV空間への変換による情報損失がある。第三に、BEVDet-Baseの計算量は2,962.6 GFLOPsと大きい。BEVDet-Tinyは高速だが、それでも15.6 FPSであり、車載ECUでの実時間性は示されていない。第四に、属性（AAE）の推定は画像視点ベースの手法に劣ると論文自身が認めており、外観情報の利用が課題として残る。第五に、ビューTransformerの深度推定はLift-Splat-Shootの手法をそのまま使っており、LiDARによる監視を使わない自己教師ありの深度学習である。その後の研究では、BEV特徴の時間融合による速度推定の改善や、TransformerベースのBEV変換（例：BEVFormer）などがこの枠組みを発展させており、BEVDetは現在のBEV認識パラダイムの基盤となった。
産業へのインパクト
この論文は、カメラによる3D物体検出をBEV空間で行うという、現在の標準的なパラダイムの基盤を築いた。それまでの画像視点ベースの手法（FCOS3Dなど）は、物体の3次元属性を画像特徴から直接回帰していたため、奥行きや速度の推定が不安定だった。BEVDetは、カメラ画像をBEVに変換してから検出することで、物体の位置・大きさ・向き・速度をLiDARベースの手法と同じ空間で扱えることを示し、さらにBEV空間データ拡張とScale-NMSという、その後のBEV認識研究で標準的に使われる要素技術を導入した。現在の自動運転向けマルチカメラ3D物体検出は、BEV表現を前提とした手法が主流であり、本論文はその最初期の体系的実証である。