自動運転における全天候自己教師あり深度推定のロバスト性向上
1分まとめ
実全天候データのみを使う自己教師あり深度推定のため、不確実性で重み付けしたマルチティーチャ蒸留（UAMTD）とPOV-BEVレーダ融合（PBCRF）を提案した。RADIATEでLite-Monoの夜間absRelを85%削減、nuScenes夜間でRNW比22.8%削減したが、レーダ融合は夜間ではカメラ単体より悪化する。
- 実全天候データのみで自己教師あり深度推定を訓練するため、複数の天候特化ティーチャを不確実性で重み付けする蒸留（UAMTD）と、レーダのBEV／POVをカメラ画素レイで融合するPBCRFを提案した。
- RADIATEでLite-Monoの夜間absRelを直接全データ学習比で85%削減し、nuScenes夜間でRNW比22.8%削減したと報告している。
- ただしレーダ融合（PBCRF）は夜間ではカメラのみよりabsRelが0.1462から0.1482へ悪化し、夜間の有効性は限定的である。
- 評価はRADIATEとnuScenesの2データセットのみで、雪は訓練データに含まれない未見条件である。またmedian-scaledとmetric scaleのプロトコルが混在する。
- 合成データに頼らず実データで全天候ロバスト性を改善できる点は、データ生成コストを避けたい実装者にとって検討価値がある。
課題
悪天候下の自己教師あり単眼深度推定は、光度一貫性の仮定が崩れるため誤差が増大する。既存のロバスト化手法はGANや拡散モデルで合成した悪天候ペアデータに依存しており、ドメインギャップと計算コストが問題である。またレーダ融合はPOV空間で点が疎であり、BEVの高密度な点を活用する手法がなかった。さらに単一ティーチャ蒸留は疑似ラベルの品質を一律に扱うため、天候ごとに信頼性が異なる状況で不利である。
提案手法
提案手法は2つの要素からなる。1) Uncertainty-Aware Multi-Teacher Distillation (UAMTD): 天候ごとに異なるデータサブセットで複数のティーチャを訓練し、学生モデルが各ティーチャの疑似ラベル品質を画素単位の不確実性として推定し、その逆数で蒸留損失を重み付けする。不確実性推定ブランチは学生の多段階特徴と全ティーチャの出力を比較し、教師間の不一致を高不確実性として反映する。2) POV-BEV Radar Fusion (PBCRF): カメラ画素をレイとみなし、BEV空間の高密度レーダ特徴をクエリとして、カメラ特徴をキー/バリューとするクロスアテンションでPOVに引き戻し、さらにPOVレーダとも融合する。LSSとは逆方向のBEV→POV融合である。
評価と結果
RADIATE（median-scaled, max 80m）では、Lite-MonoにUAMTDを適用すると、直接全データ学習（Lite-Mono all）比でclear/night/rain/fog/snowのabsRelを各20%/85%/15%/34%/28%削減し、夜間absRelは0.9498→0.1462となった（Table I）。PBCRFを加えた完全版（Ours*）はclear/rain/fog/snowでさらに改善（例: rain 0.2158→0.1991）するが、nightは0.1462→0.1482と悪化した（Table I・IV）。nuScenes（median-scaled）では夜間absRel 0.2573で、clear学習のMonodepth2（0.2829）比9.1%減、夜間特化のRNW（0.3333）比22.8%減となった（Table II）。速度弱教師ありによるmetric scale評価（Table III）では、合成データでティーチャを訓練したOurs（UAMTD, syn-teacher）がday-clear 0.1365、night 0.1835、day-rain 0.1399で全て最高となり、夜間absRelはmd4all-DD比4.3%減となった。論文の主張ではRADIATEで26%のabsRel削減、nuScenes夜間で23%の削減を達成。
RADIATEにおけるabsRel比較（小さいほど良い）
| 手法 | clear | night | rain | fog | snow |
|---|---|---|---|---|---|
| Lite-Mono (clear学習) | 0.1802 | 0.1630 | 0.2616 | 0.3318 | 0.6426 |
| Lite-Mono (all学習) | 0.2133 | 0.9498 | 0.2541 | 0.3802 | 0.7159 |
| Ours (UAMTD, カメラのみ) | 0.1706 | 0.1462 | 0.2158 | 0.2514 | 0.5165 |
| Ours* (UAMTD+PBCRF) | 0.1630 | 0.1482 | 0.1991 | 0.2400 | 0.5025 |
UAMTDによるabsRel削減率（Lite-Mono, 直接全データ学習比）
新規性
複数ティーチャの疑似ラベル品質を相対的に評価する不確実性蒸留と、BEVの高密度レーダをカメラ画素レイでPOVに引き戻す融合を組み合わせた点が新規。既存研究の組み合わせではなく、多ティーチャ間の相互作用を考慮した不確実性推定は初と主張している。
限界
著者による明示的なlimitations節は無い。論文から読み取れる制約として、(1) 評価がRADIATEとnuScenesの2データセットのみで、RADIATEでは訓練データに雪が含まれず、雪は未見条件として評価されている。(2) Table I・IIはmedian-scaled誤差、Table IIIはmetric scale（速度弱教師あり）で、プロトコルが混在しており単純比較できない。(3) レーダ融合（PBCRF）は夜間でカメラ単体より悪化する。(4) 付録Table VIではカメラ単体・ResNet-18の設定でmd4allに夜間absRel 0.2573 vs 0.2335で劣る。(5) モダリティ不均衡の問題が残っており、AWCによる是正は夜間・雨天で悪化する。
産業へのインパクト
実データのみで全天候ロバスト性を改善できるため、合成データ生成のコストとドメインギャップを避けたい実装者に有用。ただし夜間のレーダ融合の悪化やモダリティ不均衡への対処が必要で、そのままの適用には注意を要する。