BEVFormer: 時空間トランスフォーマーによる複数カメラ画像からのBEV表現学習

BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

本文精読認識世界モデル

Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chonghao Sima, Tong Luほか／ arXiv:2203.17270 ／ PDF

2022-03-31 投稿・2022-07-13 改訂

AI が本文を読んで生成（2026-08-04）

1分まとめ

BEVFormerは、グリッド状のBEVクエリと空間クロスアテンション・時間自己アテンションにより、複数カメラ画像から深度推定を使わずにBEV特徴を生成し、3D物体検出と地図セグメンテーションを統一的な表現で解く手法である。nuScenes testセットでNDS 56.9%を達成し、当時のカメラベース最高性能を9.0ポイント上回った。

6層の時空間トランスフォーマーで、深度推定を介さずに複数カメラ画像と過去のBEV特徴を再帰的に統合するBEVエンコーダーを提案した。
nuScenes testセットでNDS 56.9%を達成し、従来のカメラベース最高性能DETR3D（47.9%）を9.0ポイント上回った。
時間情報の導入により、速度推定誤差（mA VE）が0.378 m/sまで改善し、低視認性オブジェクトの再現率がDETR3Dより6.0ポイント以上向上した。
当時の評価はnuScenesとWaymoの2データセットのみで、シミュレーション評価は含まれない。
認識精度をLiDARベース手法に近づけ、カメラのみの自動運転認識の実用可能性を示した点がその後の標準となった。

課題

カメラベースの3D認識は、単眼フレームワークが視点間の情報を統合できず、BEV生成は深度推定に依存して誤差が蓄積していた。また、当時のSOTA手法は時間情報をほとんど活用しておらず、速度推定が不正確で、遮蔽された物体の検出が困難だった。

提案手法

BEVFormerは、BEV平面にグリッド状に配置した学習可能なBEVクエリを用いる。各クエリは、空間クロスアテンション（SCA）で複数カメラ画像の注目領域から特徴をサンプリングし、時間自己アテンション（TSA）で過去フレームのBEV特徴（アライメント後）から時間情報を再帰的に融合する。SCAはDeformable DETRの変形可能注意を3Dに拡張し、BEVクエリを支柱状に持ち上げて3D参照点をカメラ画像に投影する。TSAはego-motionでアライメントした過去BEV特徴と現在クエリを変形可能注意で結ぶ。エンコーダは6層で、物体検出ヘッド（Deformable DETRベース）と地図セグメンテーションヘッド（Panoptic Segformerのマスクデコーダ）を同時にサポートする。

評価と結果

nuScenes testセットでNDS 56.9%、mAP 48.1%（バックボーンV2-99）、valセットでNDS 51.7%、mAP 41.6%（R101）。DETR3D（val NDS 42.5%）より9.2ポイント高い。Waymo valではDETR3D比でAPH（IoU=0.5, LEVEL_1）が6.0ポイント向上。マルチタスク学習ではLift-Splatより検出NDSで11.0ポイント、レーンIoUで5.6ポイント高い。

nuScenes testセットにおける3D物体検出の比較

手法	モダリティ	バックボーン	NDS	mAP	mA VE
FCOS3D	カメラ	R101	42.8	35.8	1.434
PGD	カメラ	R101	44.8	38.6	1.509
DETR3D	カメラ	V2-99	47.9	41.2	0.845
DD3D	カメラ	V2-99	47.7	41.8	1.014
BEVFormer-S	カメラ	V2-99	49.5	43.5	0.842
BEVFormer	カメラ	V2-99	56.9	48.1	0.378

出典: Table 1。BEVFormer-Sは時間情報を使わない静的モデル。V2-99は深度推定の事前学習済み。NDS、mAPは高いほど良く、mA VEは低いほど良い。

nuScenes testセットのNDS比較

出典: Table 1。BEVFormer（V2-99）とカメラベース先行手法の比較。

nuScenes valセットの視認性別平均再現率

出典: Figure 3(a)。視認性サブセットごとの平均再現率。最大予測ボックス数は300。

カメラ外部パラメータノイズに対するNDS低下率

出典: Figure 6のノイズレベル4での低下率（1 - NDS/無ノイズNDSで算出）。BEVFormer-S (global)は4.0%低下、BEVFormer (noise)は8.9%低下と報告されている。

新規性

BEVクエリを介した空間クロスアテンションと時間自己アテンションの組み合わせにより、深度推定なしで複数カメラ画像と過去BEVを再帰的に融合し、検出とセグメンテーションを統一したBEV表現を初めて実現した点。

限界

著者らは、カメラベース手法はLiDARベース手法と比べて効果・効率の点で依然ギャップがあると述べ、2Dからの3D位置推定の難しさを限界として挙げている。当時の評価はnuScenesとWaymoのみで実車やシミュレーションでの検証はない。また、カメラ外部パラメータに依存するため、較差が大きいと性能が低下する。ただし、時間情報がロバスト性を高め、ノイズ付き外部パラメータで学習すると頑健になることも示している。後続のBEVFormer系手法は外部パラメータ誤差への耐性や効率化を進展させたが、当論文の範囲を超える。

産業へのインパクト

この論文は、深層学習ベースのBEV表現をカメラのみの自動運転認識の標準的なインターフェースとして確立した。深度推定を介さずにTransformerの注意機構で空間・時間情報をBEVに集約する方式は、その後の多くのカメラベース3D認識手法の土台となった。nuScenesとWaymoは現在も標準的なベンチマークであり、NDSやmAPといった指標が広く使われている。

← 一覧に戻る