InterOCF: カメラのみの4D占有予測のための時空間2D-3Dインタラクション
1分まとめ
カメラのみの4D占有予測（将来の3Dシーン予測）に対し、2Dマルチビュー時空間分岐と3Dボクセル時空間分岐を並列に持ち、STIMモジュールで2D-3D間の特徴相互作用を明示的に導入するInterOCFを提案した。nuScenesのinflated GMO予測でIoUf 28.73を達成し、従来最良のOccProphet（26.94）を上回った。
- カメラのみの4D占有予測に対し、2Dマルチビュー時空間分岐（2DST）と3Dボクセル時空間分岐（3DST）を並列に持ち、STIMモジュールで双方向の特徴相互作用を行うInterOCFを提案した。
- nuScenesのinflated GMO予測でIoUf 28.73を達成し、従来最良のOccProphet（26.94）を1.79ポイント上回った。
- 評価はnuScenes、Lyft-Level5、nuScenes-Occupancyのオープンループベンチマークのみで、クローズドループや実車検証はなく、著者によるlimitationsの明記もない。
- 2D分岐の将来セグメンテーション予測をSAMで自動生成したラベルで学習し、計算負荷はOccProphet並み（4.3 FPS、GPUメモリ22G）で、性能向上に対するコスト増は限定的である。
課題
カメラのみの4D占有予測では、過去のマルチビュー画像を一度3D空間にリフトして以降は3Dボクセル表現だけで時空間モデリングを行う純3Dパラダイムが主流である。この方式は、画像領域の高解像度な外観情報が失われる・3D空間での時間展開が非効率で誤差が蓄積しやすい・2Dと3Dの相互作用が明示的にモデル化されない、という問題を抱える。既存手法はこの2D-3D間の相互関係のモデル化が不十分で、将来予測の精度を制限している。
提案手法
InterOCFは、画像特徴とボクセル特徴の両方で時空間モデリングを行う。2DSTモジュールは、隣接カメラ間のマスク付きクロスアテンション（MIA）でマルチビュー特徴を融合し、将来のマルチビューセグメンテーション予測を補助タスクとして学習する。教師ラベルはSAMにより自動生成する。3DSTモジュールは、低解像度ボクセル表現でPre-LSTMにより将来のボクセル状態を予測し、高解像度コンテキスト分岐（ResNet3D）からの特徴をPost-LSTMで統合する。STIMモジュールは、3DSTのコンテキスト特徴を2段階にダウンサンプルし、2DSTの融合特徴とのクロスアテンションを低解像度から高解像度へ順に適用するボトムアップ型の双方向相互作用を行う。最終的に占有ヘッドとフローヘッドで将来の占有と後方フローを出力する。
評価と結果
Cam4DOccプロトコルに従い、nuScenes、Lyft-Level5、nuScenes-Occupancyで評価。inflated GMO予測では、nuScenesでIoUc 34.72、IoUf 28.73、IoeUf 30.05を達成し、従来最良のOccProphet（IoUc 34.36、IoUf 26.94、IoeUf 29.15）を上回った。Lyft-Level5でもIoUf 39.57（OccProphet 37.92）と最良。fine-grained GMO予測（nuScenes-Occupancy）ではIoUf 11.63でOccProphet（10.69）を上回った。fine-grained GMO+GSO予測では、平均IoUc 19.57、平均IoUf 17.97を達成した。アブレーションはすべてLyft-Level5のIoUf（0.8s）で実施され、3DSTのみで+0.39、2DST追加で+1.05、STIM追加で+0.48と各モジュールの寄与が確認された。
inflated GMO予測における各手法のIoU比較（Table I）
| 手法 | nuScenes IoUc | nuScenes IoUf | nuScenes IoeUf | Lyft IoUc | Lyft IoUf | Lyft IoeUf |
|---|---|---|---|---|---|---|
| OpenOccupancy-C | 12.17 | 11.45 | 11.74 | 14.01 | 13.53 | 13.71 |
| SPC | 1.27 | - | - | 1.42 | - | - |
| PowerBEV-3D | 23.08 | 21.25 | 21.86 | 26.19 | 24.47 | 25.06 |
| BEVDet4D | 31.60 | 24.87 | 26.87 | - | - | - |
| OCFNet | 31.30 | 26.82 | 27.98 | 36.41 | 33.56 | 34.60 |
| EfficientOCF | 34.13 | 26.05 | 28.71 | 41.24 | 35.07 | 39.28 |
| OccProphet | 34.36 | 26.94 | 29.15 | 43.38 | 37.92 | 40.11 |
| InterOCF (ours) | 34.72 | 28.73 | 30.05 | 43.72 | 39.57 | 40.55 |
nuScenes inflated GMO 予測における IoUf 比較
2DSTの予測フレーム数とIoUf（Lyft-Level5）
新規性
純3Dパラダイムに対し、2Dの将来セグメンテーション予測を補助タスクとして同時学習し、STIMによる2D-3D間のマルチスケール相互作用を明示的に導入した点が新規。LSS、LSTM、クロスアテンション、SAMラベル生成など既存要素の組み合わせだが、2D-3D相互作用の設計に独自性がある。
限界
著者によるlimitationsセクションはない。論文から読み取れる制約として、(1) 評価がオープンループのベンチマークのみで、クローズドループ制御や実車での安全性検証は行われていない。(2) データセットがnuScenes、Lyft-Level5、nuScenes-Occupancyに限られ、多様な環境・気象条件での汎化は未検証。(3) 2Dセグメンテーションの教師はSAMによる自動ラベルであり、ノイズを含む可能性がある。(4) アブレーションがLyft-Level5のみで、nuScenesでの検証は提示されていない。(5) 提案手法は112Mパラメータ、2436 GFLOPs、4.3 FPSであり、実車搭載にはさらなる軽量化が必要かもしれない。
産業へのインパクト
カメラのみで将来の占有シーンを予測できれば、LiDARに依存しない低コストな予測プランニングが可能になる。本手法は、2D分岐の補助タスクと2D-3D相互作用により動的物体の予測精度を改善できることを示しており、既存の3D単体モデルを拡張する際の設計指針になる。一方で、オープンループ評価のみで実車適用性は未確認であり、導入にはクローズドループ検証とSAMラベルの品質管理が必要である。