ビデオ表現正則化による誤差蓄積の緩和
1分まとめ
自己回帰ビデオ拡散モデルの誤差蓄積はDiT内部表現の有効ランク低下と結合しており、表現正則化（VRR）を加えることでVBenchスコアを大幅に改善したと報告する論文。評価はMinecraftの単一ドメインに限られる。
- スライディングウインドウ自己回帰生成で誤差蓄積が起こるとき、DiT内部表現の有効ランクが急落することを発見した。
- 有効ランクを保つ正則化VRR（SigReg/Uniformity）を提案し、VBenchのAesthetic Qualityを38.65から55.56へ、Imaging Qualityを44.37から72.08へ改善した。
- 評価はMinecraftの単一ドメイン・シミュレーションのみで、実運転データでは未検証である。
- 訓練データを増やしても誤差蓄積は改善せず、むしろ表現の有効ランクが低下するというスケーリングの逆説も報告している。
課題
スライディングウインドウ方式の自己回帰ビデオ拡散モデルは、生成フレームを次の条件入力として使うため、小さな誤差が蓄積し、数十ステップで画質が崩れる。既存の緩和策は個別には効果があるものの統一的な解決に至らず、単純な訓練データ増加ではむしろ悪化することを、本研究は実験で示している。
提案手法
提案手法VRRは、DiTの中間層の隠れ状態に正則化項を追加する。正則化関数にはSigReg（等方ガウス分布へ制約）とUniformity loss（一様分布へ制約）を用い、層0・7・15に適用した場合に最も効果が高い。学習損失は拡散フォーシング損失にΣλ_i L_reg(H_i)を加えた形で、Minecraftの18,000シーケンス（各1,200フレーム）で訓練。ウィンドウサイズは20フレーム。
評価と結果
Minecraftの評価用20シーケンスに対し、100フレームをプロンプトとして残り1,100フレームを生成し、VBenchのAesthetic QualityとImaging Qualityで評価した。16000ステップ時点で、VRR-SigregはDiffusion Forcingの38.65を55.56へ、VRR-Unifは44.37を72.08へ改善した。また時間経過による品質低下もVRRでは抑制されると報告している。ベースラインはDiffusion Forcing、Frame Anchor、SVI。
VBenchにおける16000ステップ時点の比較
| 手法 | Aesthetic Quality | Imaging Quality |
|---|---|---|
| Diffusion Forcing | 38.65 | 44.37 |
| Frame Anchor | 39.15 | 45.38 |
| SVI | 39.17 | 42.87 |
| VRR-Unif | 53.78 | 72.08 |
| VRR-Sigreg | 55.56 | 69.51 |
Aesthetic Qualityの訓練ステップによる推移
Imaging Qualityの訓練ステップによる推移
新規性
誤差蓄積とDiT内部表現の次元崩壊（有効ランク低下）の関連を初めて定量的に示し、有効ランクを正則化することで長期生成の安定性を改善した点が新規性。使用した正則化関数自体は既存手法の組み合わせである。
限界
著者らは、訓練データ拡大が表現を劣化させる理由やDiTが学習するショートカットの解明を今後の課題としている。評価はMinecraftの単一ドメイン・シミュレーションに限定され、VBenchの2指標のみを使用。実運転データでの検証や、VRRによる訓練コスト増加に関する記述はない。16kステップという比較的短い訓練であり、スケーリングに関する結論はこの設定に限られる。
産業へのインパクト
自動運転向け世界モデルでは長期ロールアウトの安定性が重要で、誤差蓄積はシミュレーションやデータ生成の信頼性を左右する。VRRは軽量な正則化で誤差蓄積を抑える可能性を示しており、運転シーンの長期一貫性を保つ実装の参考になり得る。ただしMinecraft以外での有効性は未検証なため、適用には追加実験が必要である。