視覚ベース3次元セマンティック占有予測のための三視点表現（Tri-Perspective View）
1分まとめ
TPVFormerは、BEV表現に垂直な2平面を加えた三視点（TPV）表現で3Dシーンをモデル化し、カメラ画像のみから全ボクセルのセマンティック占有を予測する手法を提案した。nuScenesのLiDARセグメンテーションでLiDARベースのPolarNetと同等のmIoU 69.4を達成し、視覚中心の占有予測研究の基盤を築いた。
- BEVを3つの直交する平面に拡張した三視点（TPV）表現と、画像特徴をTPV空間へ変換するトランスフォーマー型エンコーダTPVFormerを提案した。
- nuScenes LiDARセグメンテーション（テスト）でmIoU 69.4を達成し、LiDAR入力のPolarNet（69.4）と同等の性能をカメラ画像のみで示した。
- 最高性能のLiDAR手法（LidarMultiNet 81.4）には及ばず、BEVFormer-Base（56.2）を12.7ポイント上回るにとどまった。
- 3Dセマンティック占有予測の定量的評価は無く、定性結果のみ。テスト時に評価点の座標が必要で純カメラとは言い切れない。
- カメラのみで密な3Dシーン予測が可能なことを初めて示し、その後の視覚中心の占有予測研究の基盤となった。
課題
自動運転の3D認識では、BEV表現が高さ方向を潰すため、複雑な3D構造の細かな表現ができない。ボクセル表現は正確だが計算量がO(HWD)と膨大で実時間適用が難しい。既存のBEVベース手法は3D物体検出では成功したが、ボクセル単位のセマンティック占有予測には不十分だった。
提案手法
提案手法は、上面（BEV）に側面と前面を加えた3つの直交平面で3Dシーンを表現するTPV表現を用いる。各3D点の特徴は、3平面への投影座標をバイリニア補間して得た特徴の総和として計算する。TPVFormerは、変形可能注意を使った画像クロスアテンション（ICA）で画像特徴をTPVクエリに集約し、クロスビュー混在注意（CVHA）で3平面間の情報交換を行う。HCABブロックとHABブロックをスタックし、疎なLiDAR点ラベルのみで学習する。テスト時にはTPV平面の解像度を任意に変更できる。
評価と結果
nuScenesテストのLiDARセグメンテーションで、TPVFormer-BaseはmIoU 69.4を達成し、LiDAR入力のPolarNet（69.4）と同等だった。検証セットのLiDARセグメンテーションではTPVFormer-BaseがmIoU 68.9で、BEVFormer-Base（56.2）を12.7ポイント上回った。SemanticKITTIテストのセマンティックシーン補完では、SC IoU 34.25、SSC mIoU 11.26で、MonoScene（34.16／11.08）をわずかに上回った。パラメータ数は6.0M、計算量は128G FLOPSで、MonoSceneの15.7M／500G FLOPSより大幅に少ない。
nuScenesテストのLiDARセグメンテーション結果（mIoU）
| 手法 | 入力モダリティ | mIoU |
|---|---|---|
| MINet | LiDAR | 56.3 |
| PolarNet | LiDAR | 69.4 |
| PolarStream | LiDAR | 73.4 |
| AMVNet | LiDAR | 77.3 |
| SPVNAS | LiDAR | 77.4 |
| Cylinder3D++ | LiDAR | 77.9 |
| DRINet++ | LiDAR | 80.4 |
| LidarMultiNet | LiDAR | 81.4 |
| TPVFormer-Small | Camera | 59.2 |
| TPVFormer-Base | Camera | 69.4 |
nuScenes LiDARセグメンテーションのmIoU（テストセット）
SemanticKITTI SSCのmIoU（テストセット）
新規性
BEVの単一平面表現を3つの直交平面に拡張したTPV表現と、それを画像特徴から学習するトランスフォーマーアーキテクチャの組み合わせが新規である。変形可能注意やバイリニア補間など構成要素は既存技術の組み合わせだが、3Dセマンティック占有予測というタスクへの適用は初めてである。
限界
論文に著者による限界の明記はない。読み取れる制約として、3Dセマンティック占有予測の定量的な評価が行われておらず、定性結果のみである点が挙げられる。LiDARセグメンテーションは、テスト時にLiDAR点の座標で特徴をクエリするため、完全なカメラのみの予測ではない。SemanticKITTIのSSCはmIoU 11.26と低く、特に希少クラスではIoUが0のものがある。学習コストも高く、TPVFormer-Baseは24エポックの学習を8台のA100で行っており、実時間性は検証されていない。その後の研究で占有予測のベンチマークが整備され、TPV表現は初期のベースラインの一つとなったが、現在はスパース畳み込みなど他の表現に主流が移っている。
産業へのインパクト
この論文は、カメラ画像のみから3D空間全体のセマンティック占有を予測できることを初めて示し、視覚中心の3D認識の研究領域を切り開いた。BEVが1枚の平面に高さ情報を圧縮していたのに対し、TPV表現は3つの直交平面で高さを保持し、その後の占有予測タスクの表現形式として多くの研究に影響を与えた。当時は「カメラだけでLiDAR相当の密な3D認識ができる」という前提自体が新しく、日本の自動車メーカーがセンサー構成を検討する際にも、カメラのみの認識パイプラインの可能性を示す根拠となった。