Street Gaussians: ガウシアンスプラッティングによる動的都市シーンのモデリング

Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

本文精読生成・再構成

Yunzhi Yan, Haotong Lin, Chenxu Zhou, Weijie Wang, Haiyang Sun, Kun Zhanほか／ arXiv:2401.01339 ／ PDF

2024-01-02 投稿・2024-08-18 改訂

AI が本文を読んで生成（2026-08-04）

1分まとめ

動的都市シーンを3D Gaussianの点群として明示的に表現し、追跡ポーズの最適化と4D球面調和関数による動的見た目のモデル化を導入した。Waymo Open DatasetでPSNR 34.61、135 FPSのリアルタイムレンダリングを実現し、NeRF系の手法を品質・速度の両面で上回った。

動的都市シーンを「背景＋前景車両」の点群として表現し、各点に3D Gaussianを持たせる「Street Gaussians」を提案した。
Waymo Open DatasetでPSNR 34.61（移動物体のPSNR* 30.23）を達成し、NeRF系のMARS（29.75）を上回った。
トレーニング30分、レンダリング135 FPS（1066×1600）を実現し、NeRF系の0.21〜0.68 FPSから100倍以上高速である。
ただし剛体の車両のみが対象で歩行者などの非剛体は扱えず、評価もWaymo 8シーケンスとKITTIに限られる。
トラッカーの追跡ポーズを学習可能にし、GTポーズを使う場合と同等以上の品質を達成した点は実用上の利点である。

課題

従来のNeRFベースの動的都市シーン手法（NSG、MARS、EmerNeRF）は、追跡ポーズを用いて前景車両を動かすことで高品質な画像生成を実現したが、トレーニングに数時間から十数時間かかり、レンダリングも1 FPS未満だった。3D Gaussian Splattingは高速だが静的シーンのみを想定しており、移動物体を扱えなかった。

提案手法

背景と各前景車両を独立した点群で表現し、各点に3D Gaussian（位置・不透明度・回転・スケール）とセマンティックロジットを割り当てる。前景車両の動きは、トラッカーが出力した追跡ポーズに学習可能な変換（並進ΔT、ヨー角Δθ）を加えて最適化する。動的見た目は4D球面調和関数（フーリエ係数k=5、逆離散フーリエ変換でSH係数を復元）で表現する。初期化にはLiDAR点群とSfM点群を併用し、空は解像度1024のキューブマップで表現する。レンダリングは全点群を結合して2Dへ投影し、αブレンディングで画像を生成する。損失は画像再構成（L1＋D-SSIM）、深度L1、空のBCE、セマンティッククロスエントロピー、分解の正則化の重み付き和。

評価と結果

Waymo Open Datasetの8シーケンス（各約100フレーム、解像度1066×1600、4枚ごとにテスト）で、PSNR 34.61、SSIM 0.938、LPIPS 0.079、移動物体領域のPSNR* 30.23を達成した。比較対象は3D GS（29.64／0.918／0.117／21.25）、NSG（28.31／0.862／0.346／24.32）、MARS（29.75／0.886／0.264／26.54）、EmerNeRF（30.87／0.905／0.133／21.67）。KITTI（75% split）ではPSNR 25.79、SSIM 0.844、LPIPS 0.081であり、MARS（24.23／0.845／0.160）を上回った。KITTIのNSGとMARSの数値はMARS論文からの借用。

Waymo Open Datasetにおける比較結果

手法	PSNR↑	SSIM↑	LPIPS↓	PSNR*↑	FPS↑
3D GS	29.64	0.918	0.117	21.25	205
NSG	28.31	0.862	0.346	24.32	0.47
MARS	29.75	0.886	0.264	26.54	0.68
EmerNeRF	30.87	0.905	0.133	21.67	0.21
Ours	34.61	0.938	0.079	30.23	135

論文 Table 1 より。解像度 1066×1600。PSNR* は移動物体領域のみ。FPS は RTX 4090 での計測。3D GS は静的シーンのみ対応。NSG と MARS は GT トラックレットを使用。

Waymo Open Dataset における PSNR 比較

論文 Table 1 より。値が高いほど良い。3D GS は静的シーンのみ、NSG と MARS は GT トラックレットを使用。

Waymo Open Dataset における移動物体の PSNR* 比較

論文 Table 1 より。PSNR* は 3D バウンディングボックスを投影した領域のみで計算。値が高いほど良い。

アブレーション: 移動物体の PSNR*

論文 Table 3 より。Waymo 全シーケンスの平均。Complete が提案手法。値が高いほど良い。

新規性

動的都市シーンを3D Gaussianの点群として明示的に分解し、追跡ポーズの学習可能化と4D球面調和関数による時間変化する見た目のモデル化を組み合わせた点。

限界

著者は（1）剛体の車両のみが対象で歩行者などの非剛体は扱えない（2）トラッカーの検出率に依存し、見逃した車両は補償できない（3）シーンごとの最適化が必要で、フィードフォワード推論は将来課題、の3点を明記している。論文から読み取れる制約として、評価はWaymoの8シーケンスとKITTIに限られ、KITTIのNSG/MARS比較はMARS論文からの借用である。トレーニング30分と135 FPSはRTX 4090での計測値であり、車載GPUでは性能が異なる。移動物体の品質指標PSNR*は、バウンディングボックスの投影領域に基づく近似である。著者による明記はないが、非剛体への拡張やトラッカー非依存の表現は後続研究の課題として残された。

産業へのインパクト

この論文は、3D Gaussian Splattingを自動運転の動的都市シーンへ適用した初期の体系的研究であり、NeRF系では不可能だったリアルタイムレンダリング（135 FPS）と短時間トレーニング（30分）を両立した。以後、動的都市シーンのGaussianベース表現は自動運転シミュレーションやシーン編集の標準的な選択肢として参照されるようになった。日本の自動車メーカー・サプライヤーにとっては、実データからの高忠実なデジタルツイン構築をリアルタイムで行う際の基盤となる。

← 一覧に戻る