OccWorld: 自動運転のための3D占有世界モデルの学習
1分まとめ
自動運転の周辺シーンを3D占有（オキュパンシー）の時系列変化として捉え、VQ-VAEによるシーントークン化とGPT類似の自己回帰型トランスフォーマーで将来のシーンと自車軌道を同時予測する世界モデルOccWorldを提案した。nuScenes上の4D占有予測とモーションプランニングの両方で、ボックスやマップの教師なしで競争力のある計画性能を報告している。
- 3Dセマンティック占有を中間表現とする世界モデルOccWorldを提案し、過去2秒の占有から将来3秒の占有と自車軌道を自己回帰的に同時予測する枠組みを確立した。
- GT占有を入力とするOccWorld-Oは、4D占有予測で平均IoU 26.63（Copy&Pasteは20.52）、プランニングで平均L2誤差1.17m（3D占有のみの教師でOccNetの2.25mを上回る）を報告している。
- ボックス・マップ・モーションの教師を必要とせず、3D占有のみで計画まで一貫学習できる点が新規であり、将来の自由空間を直接扱える。
- 衝突率は平均0.60%とUniAD（0.31%）に届かず、L2誤差の3秒時点1.99mはUniADの1.65mを下回る。長期的な計画性能と安全性は課題として残る。
- 実車適用にはGT占有に依存しないカメラ入力設定（OccWorld-Dで平均L2 1.40m、2.8FPS）が前提であり、当時の評価はシミュレーション（nuScenesオフライン）のみ。
課題
自動運転の従来構成は認識・予測・計画の直列パイプラインであり、物体検出のバウンディングボックスやHDマップなどの逐次的な教師ラベルを必要とする。またオブジェクトレベルの移動しか扱えず、視界に入っていない将来の静的なシーン構造や可走領域などの細かい3Dシーンの変化をモデル化することが困難だった。この論文では、それらのラベルを使わずにシーン全体の進化を予測するための世界モデルを3D占有空間上に構築することを目指す。
提案手法
OccWorldは3Dセマンティック占有をシーン表現に用い、VQ-VAE構造の3D占有シーントークナイザで高次離散トークン化し、GPT類似の空間時間生成トランスフォーマーで自己回帰的に未来のトークンを生成する。空間方向はスケール別の階層トークンに畳み込み/アテンションを適用し、時間方向は各空間位置ごとにマスク付き時間因果自己アテンションを適用して次時刻のトークンを予測。U-Net構造で複数解像度の予測を統合し、シーンデコーダで占有を復元すると同時に、エゴトークンから専用デコーダで自車の変位（2Dウェイポイント）を出力する。学習は2段階で、第1段階が3D占有の再構成損失（softmax + lovasz-softmax）、第2段階が予測トークンのコードブック分類損失とエゴ変位のL2損失。推論時は予測トークンを入力に再帰的に3秒先まで生成する。
評価と結果
評価はnuScenes/Occ3D上で実施。4D占有予測では、GT占有入力のOccWorld-Oが1s/2s/3s平均でmIoU 17.14、IoU 26.63を達成し、現在フレームをそのまま貼り付けるCopy&Paste（平均IoU 20.52）を上回った。カメラ入力のエンドツーエンド設定でもOccWorld-Dが平均mIoU 8.62、平均IoU 16.53、自己教師付き占有のOccWorld-Sでも平均IoU 5.00を報告。モーションプランニングではOccWorld-Oが平均L2誤差1.17m（1s: 0.43m、2s: 1.08m、3s: 1.99m）、平均衝突率0.60%。既存のOccNet（3D占有・マップ・ボックス教師付き、平均L2 2.25m）を大きく上回り、UniAD（平均L2 1.03m）には及ばなかった。VADと同じ評価指標を採用した場合、OccWorld-Oの平均L2誤差は0.64mとなりVAD-Baseの0.72mを上回る。アブレーションでは空間アテンション、時間アテンション、エゴトークンの時間アテンションが予測・計画双方に大きく寄与することを示した。
モーションプランニング性能の比較（nuScenes検証セット）
| 手法 | 入力 | 補助教師 | L2 平均 (m) | 衝突率 平均 (%) |
|---|---|---|---|---|
| ST-P3 | カメラ | マップ・ボックス・深度 | 2.11 | 0.71 |
| UniAD | カメラ | マップ・ボックス・モーション・トラックレット・占有 | 1.03 | 0.31 |
| VAD-Base | カメラ | マップ・ボックス・モーション | 1.22 | 0.53 |
| OccNet | カメラ | 3D占有・マップ・ボックス | 2.14 | 0.72 |
| OccWorld-O | 3D占有 | なし | 1.17 | 0.60 |
4D占有予測の平均IoU比較
計画のL2誤差（1s/2s/3s）
計画のL2誤差タイムステップ別（OccWorld-O）
新規性
3Dセマンティック占有を世界モデルの表現として用い、VQ-VAEによるシーンの離散トークン化と空間時間アテンションによる自己回帰的将来予測を組み合わせた点が新規であり、既存の物体検出・マップベースの予測計画パイプラインを代替する初期の試みである。
限界
著者による明記なし。本文から読み取れる限界として、第一に評価がnuScenesオフラインのシミュレーションのみで実車・クローズドループ評価がない。第二に、4D占有予測の性能は入力となる3D占有推定器の品質に強く依存し、カメラ入力のエンドツーエンド設定（OccWorld-Dで平均mIoU 8.62）はGT入力（同17.14）の約半分に落ちる。第三に、自己教師付き設定（OccWorld-S）の占有予測は平均IoU 5.00で、実用的な水準には達していない。第四に、計画性能は短期的には強いが、3秒先ではL2誤差と衝突率が急激に悪化し、長期的安全性の保証が弱い。第五に、コードブックサイズや空間解像度などのハイパーパラメータに敏感で、再構成精度と予測性能がトレードオフする。後続研究はこの問題に対し、より高品質な占有推定や、決定論的予測ではなく複数モードを扱う生成モデルとの融合を進めていると考えられるが、本論文からだけでは特定の後続手法を断定できない。
産業へのインパクト
OccWorldは、3DボックスやHDマップを使わずに3Dセマンティック占有を自己教師付きでトークン化し、GPT流の自己回帰生成でシーン進化と自車軌道の同時予測を行う最初期の枠組みである。その後、占有ベースの世界モデルは複数提案され、4D占有予測や自己教師付き事前学習の重要な基盤となった。日本の自動車産業の実装という観点では、GT占有やLiDAR注釈がなくてもカメラ画像から予測・計画までつなげられる可能性を示した点が意味を持つ。一方で、当時の評価はオフラインのnuScenesのみで、実車の安全要件を満たす段階にはなく、現在もこの分野の標準的な評価方法としてnuScenes/Occ3Dが使われ続けている。