OmniRe: 全要素を対象とした都市景観再構成
1分まとめ
動的都市景観の再構成において、車両だけでなく歩行者や自転車などの非剛体アクターもSMPLと変形場で統一的にモデル化し、3Dガウススプラッティングに基づくシーングラフとして再構成する手法を提案した。Waymoデータセットで再構成PSNR 34.25を達成し、従来の最高性能（SOTA）を上回った。
- 車両・歩行者・自転車など動的アクターをSMPLノードと変形可能ノードに分け、3DGSシーングラフで統一的に再構成する手法を提案した。
- Waymoデータセットの8シーンで、再構成は画像全体PSNR 34.25（従来SOTA比+1.88）、人間領域PSNR 28.15（同+4.09）を達成した。
- 歩行者SMPLポーズの初期化から欠落補完・姿勢最適化までを含むパイプラインにより、実環境の遮蔽下でも関節レベル制御可能な人間再構成を実現した。
- 変形可能ノードは自転車や遠方歩行者などSMPLで扱えない対象を自己教師ありの変形場で表現し、非剛体アクターの網羅性を高めている。
- 評価はWaymoのシミュレーション上での画像再構成とLiDAR深度精度であり、実車搭載やクローズドループでの安全性検証は対象外である。
課題
既存の動的都市景観再構成手法は車両などの剛体アクターに焦点を当てており、歩行者や自転車といった非剛体アクターの高品質再構成と制御が不十分だった。NeRFや3DGSを用いた従来手法でも、非剛体アクターを個別に制御可能な形でモデル化する枠組みが欠けていた。
提案手法
OmniReは3DGSに基づく動的シーングラフを構築し、背景・空・車両（剛体ノード）・歩行者（SMPLノード）・その他の非剛体アクター（変形可能ノード）をそれぞれ専用のガウス表現でモデル化する。歩行者はSMPLテンプレートで初期化し、マルチカメラ駆動ログから4D-Humansで推定したポーズを、トラックレット照合と欠落補間で統合したうえで、再構成損失でポーズ自体も最適化する。変形可能ノードはインスタンス埋め込みを条件とする共有変形ネットワークで、正準空間から各時刻の形状への変位を予測する。全ノードを単一ステージで同時最適化し、L1・SSIM・深度・オパシティ・ポーズ平滑化の損失を用いる。
評価と結果
Waymo Open Datasetの8シーン（各約150フレーム、3台の前方カメラ、解像度640×960、LiDAR深度で監視）で評価した。再構成（Scene Reconstruction）ではFull Image PSNR 34.25／SSIM 0.954、Human PSNR 28.15／SSIM 0.845、Vehicle PSNR 28.91／SSIM 0.892。新規ビュー合成（NVS、10フレーム間隔でテスト）ではFull Image PSNR 32.57／SSIM 0.942、Human PSNR 24.36／SSIM 0.727、Vehicle PSNR 27.57／SSIM 0.858。ベースラインはEmerNeRF（PSNR 31.93）、3DGS（26.00）、DeformGS（28.40）、PVG（32.37）、HUGS（28.26）、StreetGS（29.08）。Full Image PSNRで従来最高性能（SOTA）比+1.88（再構成）、+2.38（NVS）。LiDAR深度評価ではTraining FramesでCD 0.242／RMSE 1.894、Novel FramesでCD 0.244／RMSE 1.909。また32シーンへの拡張評価（Tab. 5）や混雑・夜間・悪天候・高速シーンでの追加評価も実施し、さらに5データセット（NuScenes、Argoverse2、PandaSet、KITTI、NuPlan）での一般化を示したと主張している。
Waymoデータセットにおける再構成性能（全8シーン、Full Image）
| 手法 | 再構成 PSNR↑ | 再構成 SSIM↑ | NVS PSNR↑ | NVS SSIM↑ |
|---|---|---|---|---|
| EmerNeRF | 31.93 | 0.902 | 29.67 | 0.883 |
| 3DGS | 26.00 | 0.912 | 25.57 | 0.906 |
| DeformGS | 28.40 | 0.929 | 27.72 | 0.922 |
| PVG | 32.37 | 0.937 | 30.19 | 0.919 |
| HUGS | 28.26 | 0.923 | 27.65 | 0.914 |
| StreetGS | 29.08 | 0.936 | 28.54 | 0.928 |
| Ours | 34.25 | 0.954 | 32.57 | 0.942 |
Waymoデータセットにおける再構成PSNR（Full ImageとHuman領域）
LiDAR深度精度（CDとRMSEの改善量）
新規性
3D Gaussian Splattingによるシーングラフ上で、SMPLノードと変形可能ノードを併用し、歩行者を含む非剛体アクターを統一的かつ制御可能な形で再構成した点に新規性がある。既存の変形場手法やSMPLベース手法の組み合わせではなく、シーン全体のスケールで動的アクターを網羅する枠組みを提案した。
限界
著者らは限界として、(1)照明効果を明示的にモデル化しておらず、異なる照明条件の要素を合成する際に視覚的な調和の問題が生じうること、(2)シーンごとの最適化手法であるため、訓練軌跡から大きく外れたカメラに対する新規ビュー合成の品質が低下することを挙げている。著者による明記はないが、論文から読み取れる制約として、評価がWaymo Open Dataset中心であり、32シーン拡張はStreetGSとEmerNeRFとの比較のみであること、ベースラインの3DGSとDeformableGSはLiDAR監視付きの再実装であること、シミュレーションはレンダリングベースであり人間参加型シミュレーションの実運用はデモ段階であること、計算コストは1シーンあたり約1時間（RTX 4090）で実用的とはいえるがリアルタイム訓練ではないこと、バウンディングボックスとセマンティックラベルに依存しておりラベル誤りが一般化を制約することなどがある。
産業へのインパクト
OmniReは、都市景観再構成の対象を車両から歩行者・自転車などの非剛体アクターへ拡張し、3DGSベースのシーングラフ表現でこれらを統一的に扱う基盤を確立した。歩行者をSMPLで関節レベル制御可能な形で再構成し、人間と車両のインタラクションを含むシミュレーション用途への道を開いた点が重要である。この後の研究では、同様の3DGSシーングラフ表現やSMPLと変形場の併用が当たり前のように使われるようになったが、この論文はその前提を先取りしている。また、Waymo Open Datasetは現在も動的都市景観再構成の標準的ベンチマークとして使われ続けており、本手法の評価設定はその後の比較の土台となった。