自己教師あり単眼深度推定の徹底解明
1分まとめ
自己教師あり単眼深度推定において、最小再投影損失・自動マスキング・フル解像度マルチスケールの3つの改良を提案し、KITTIベンチマークで最高性能（SOTA）を達成した。これらの改良はシンプルでありながら、既存の複雑なモデルを凌駕する性能を示した。
- 自己教師あり単眼深度推定に、最小再投影損失・自動マスキング・フル解像度マルチスケールの3つの改良を導入し、KITTI Eigen分割でAbs Rel 0.115を達成した（従来の自己教師あり単眼手法では0.141が最良）。
- 最小再投影損失は、複数フレーム間のオクルージョンを扱い、境界のシャープさを向上させた。自動マスキングは、カメラが静止しているフレームや等速度で動く物体のピクセルを損失から除外する。
- フル解像度マルチスケールは、中間層の低解像度深度を高解像度にアップサンプリングして損失を計算することで、テクスチャコピーアーティファクトを低減した。
- 評価はKITTIデータセットのみで行われており、他のデータセットへの一般化や、実車への適用は検証されていない。また、モノキュラー訓練は評価時にmedian scalingを必要とするなど、スケールの曖昧さが残る。
- 自己教師あり学習の実用性を示し、その後の単眼深度推定の標準的な基盤となった。特に、LiDARを使わずにカメラのみで深度を推定する手法の重要性を確立した。
課題
高品質なピクセル単位の距離データ（depth ground truth）の大規模な取得は困難であり、自己教師あり学習が注目されていた。しかし、既存の自己教師あり単眼深度推定は、複雑なアーキテクチャや損失関数を用いる一方で、オクルージョンやカメラ静止、低解像度でのアーティファクトなどの問題に十分に対処できていなかった。
提案手法
提案手法「Monodepth2」は、以下の3つの改良からなる。 (i) 最小再投影損失（per-pixel minimum reprojection loss）: 複数のソース画像に対する再投影誤差の平均ではなく、各ピクセルで最小値を取る。これにより、オクルージョンや視野外のピクセルによる誤った勾配を防ぐ。 (ii) 自動マスキング（auto-masking）: 再投影誤差が元の画像との誤差よりも小さいピクセルだけを損失に用いるバイナリマスクµを、ネットワークの順伝搬中に数式(5)で計算する。カメラ静止や等速度物体の影響を排除する。 (iii) フル解像度マルチスケール（full-resolution multi-scale）: 中間層の低解像度深度予測を入力解像度にアップサンプリングしてから再投影誤差を計算する。低解像度でのテクスチャコピーアーティファクトや深度の穴を防ぐ。 アーキテクチャはResNet18をエンコーダとするU-Netで、既存手法（DispNetやResNet50）よりも軽量である。ポーズネットワークは2フレームを入力とし、6自由度の相対ポーズを出力する。
評価と結果
KITTI 2015データセットのEigen分割で評価。モノキュラー訓練（M）でAbs Rel 0.115、Sq Rel 0.903、RMSE 4.863、RMSE log 0.193、δ<1.25 0.877を達成し、既存の自己教師あり単眼手法（EPC++ [38]：Abs Rel 0.141、DDVO [62]：0.151など）を上回った。ステレオ訓練（S）ではAbs Rel 0.109、モノキュラー+ステレオ訓練（MS）ではAbs Rel 0.106。アブレーション研究では、ベースライン（Abs Rel 0.140）から各貢献を加えることで段階的に改善し、フルモデルで0.115となった。また、Make3Dデータセットへの一般化でも、深度教師なし手法の中で最高性能を達成した（Abs Rel 0.322、Zhou [76]は0.383、DDVO [62]は0.387）。
KITTI Eigen分割における自己教師あり単眼深度推定の比較
| 手法 | 学習データ | Abs Rel | Sq Rel | RMSE | RMSE log | δ<1.25 |
|---|---|---|---|---|---|---|
| Zhou et al. [76]† | M | 0.183 | 1.595 | 6.709 | 0.270 | 0.734 |
| DDVO [62] | M | 0.151 | 1.257 | 5.583 | 0.228 | 0.810 |
| GeoNet [71]† | M | 0.149 | 1.060 | 5.567 | 0.226 | 0.796 |
| Ranjan et al. [51] | M | 0.148 | 1.149 | 5.464 | 0.226 | 0.815 |
| EPC++ [38] | M | 0.141 | 1.029 | 5.350 | 0.216 | 0.816 |
| Monodepth2 (M) | M | 0.115 | 0.903 | 4.863 | 0.193 | 0.877 |
| Monodepth2 (S) | S | 0.109 | 0.873 | 4.960 | 0.209 | 0.864 |
| Monodepth2 (MS) | MS | 0.106 | 0.818 | 4.750 | 0.196 | 0.874 |
Abs Relの比較（低いほど良い）
δ<1.25の比較（高いほど良い）
アブレーション研究: 各改良の効果
新規性
既存の自己教師あり手法の構成要素を徹底的に分析し、3つのシンプルな改良（最小再投影損失、自動マスキング、フル解像度マルチスケール）を組み合わせることで、複雑なモデルを凌駕する性能を達成した点が新規性である。
限界
著者らは、Lambertian仮定に反する反射・飽和領域で失敗すること、物体境界のあいまいさに弱いことを明記している。また、評価はKITTIデータセットのみで行われており、他のデータセットや実環境での検証は限定的である。モノキュラー訓練はスケール不定であり、評価時にmedian scalingを用いる。さらに、論文発表時点での後続研究（例：Depth Hints [65]）は、ステレオアルゴリズムからのノイズを含む深度ヒントを追加することで精度を向上させており、本手法の限界を部分的に克服している。
産業へのインパクト
この論文は、自己教師あり単眼深度推定の実用性を確立し、その後の研究の標準的な基盤となった。特に、LiDARを使わずにカメラのみで深度を推定する手法が、自動運転における低コストな深度センサ代替として重要であることを示した。現在では当たり前となった「再投影損失の最小化」や「動的物体のマスキング」といった考え方は、この論文で体系化された。