SurroundOcc: 自動運転のためのマルチカメラ3D占有予測
1分まとめ
マルチカメラ画像から3D占有（オキュパンシー）を予測する手法を提案し、2D-3D空間アテンションとマルチスケール監視に加え、動的物体と静的シーンを分離したLiDAR統合とポアソン再構成による密な占有ラベル生成を導入した。nuScenes validationでSSC mIoU 20.30を達成した。
- マルチカメラ画像のみから周囲3Dシーンの占有（オキュパンシー）を予測するSurroundOccを提案し、既存の3D検出・セグメンテーションラベルから密な占有ラベルを自動生成するデータパイプラインを導入した。
- nuScenes validationの3Dセマンティック占有予測でSSC mIoU 20.30、SC IoU 31.49を達成し、BEVFormerのSSC mIoU 16.75、SC IoU 30.50を上回った。
- 教師信号の比較では、単一フレームLiDAR点群のSSC mIoU 12.17に対し、提案の密な占有ラベルでは20.30へ向上した。
- 評価はnuScenes validationセットとSemanticKITTI testセットのみで、密なラベルはLiDAR点群から生成しており、その品質が性能上限を規定する点に留意が必要である。
課題
既存の視覚ベース3D認識は3D物体検出が中心で、任意形状・無限クラスの物体を記述できない。深度推定は各光線の最前面しか復元できず、オクルージョン部分を欠く。MonoSceneは単眼のみで、TPVFormerはスパースなLiDAR監視のため密な予測ができない。
提案手法
各画像からマルチスケール特徴を抽出し、2D-3D空間アテンション（変形可能アテンションによる3Dボリュームクエリ）で3Dボリューム特徴を構築する。BEVではなく3Dボリュームを直接扱い、3Dデコンボリューションで段階的にアップサンプリングし、各レベルを減衰重み（α=1/2^j）で監視する。密な占有ラベル生成は、動的物体と静的シーンを3Dバウンディングボックスで分離してマルチフレームLiDARを統合し、ポアソン再構成で穴を埋めてメッシュ化し、NNアルゴリズムでセマンティックラベルを割り当てる。
評価と結果
nuScenes validation（解像度1600x900、占有範囲X/Y±50m・Z -5m〜3m、ボクセル0.5m）の3Dセマンティック占有予測で、SC IoU 31.49、SSC mIoU 20.30を達成。比較対象はMonoScene（23.96／7.31）、Atlas（28.66／15.00）、BEVFormer（30.50／16.75）、TPVFormer*（密ラベル再学習、30.86／17.10）。SemanticKITTI testの単眼セマンティックシーン補完ではSC IoU 34.72、SSC mIoU 11.86（MonoScene 34.16／11.08）。3Dシーン再構成ではF-score 0.483、チャンファー距離1.950。推論時間はRTX 3090・6カメラ1600x900で0.34秒、メモリ5.9GB。
nuScenes validation における3Dセマンティック占有予測の比較
| 手法 | SC IoU | SSC mIoU |
|---|---|---|
| MonoScene | 23.96 | 7.31 |
| Atlas | 28.66 | 15.00 |
| BEVFormer | 30.50 | 16.75 |
| TPVFormer | 11.51 | 11.66 |
| TPVFormer* | 30.86 | 17.10 |
| SurroundOcc | 31.49 | 20.30 |
nuScenes validation における SSC mIoU の比較
教師信号の違いによる SSC mIoU（nuScenes validation）
推論時間の比較（6カメラ・1600x900・RTX 3090）
新規性
2D-3D空間アテンションによる3Dボリューム特徴の構築と、動的物体と静的シーンを分離したマルチフレームLiDAR統合＋ポアソン再構成による密な占有ラベル生成パイプラインの新規性にある。
限界
著者は単一フレームのみの予測で、占有フロー（occupancy flow）やマルチフレーム入力は将来課題と明記している。また、NNによるセマンティックラベル伝播がLiDARラベルのノイズに敏感であると述べている。論文から読み取れる制約として、評価はnuScenes validationセット（testセットはラベル非公開）とSemanticKITTI testセットのみで、実車実証はない。密な占有ラベルはLiDAR点群とポアソン再構成に依存するため、LiDARが観測できない領域や雨天時の点欠けはラベル品質に影響する。著者による明記はないが、ラベル生成に20Hz・400フレーム・約1300万点を要する計算コストも実用上の制約になりうる。後続の研究では時間的モデリングや自己教師あり手法が発展したが、本論文はそれらの基礎となった。
産業へのインパクト
この論文は「カメラ画像のみで周囲3Dシーンの占有（オキュパンシー）を予測する」タスクを確立し、nuScenesにおけるSC IoU・SSC mIoU評価をその後の標準として定着させた。密な占有ラベル生成パイプラインは、高価な占有アノテーションに依存せず既存の3Dラベルから教師データを構築する方法を示し、その後の3D占有予測研究が参照する基盤となった。LiDAR非依存の3Dシーン認識という方向性を明確にした点で、日本の自動車メーカー・サプライヤーにとっても重要な指標となる。