Lift, Splat, Shoot: 任意のカメラリグからの画像を暗黙に3次元へ逆投影して符号化する
1分まとめ
マルチカメラ画像を各カメラの視錐台状特徴に「リフト」し、鳥瞰グリッドに「スプラット」することで、エンドツーエンドにBEV表現を学習するLift-Splat-Shootを提案し、BEVセグメンテーションで既存手法を上回った。
- 複数カメラ画像を奥行き分布付き特徴に変換して鳥瞰グリッドへ射影するエンドツーエンドのBEV認識モデルを提案した。
- nuScenesの車両セグメンテーションIoUで32.07を達成し、ベースラインのCNN（24.25）やOFT（30.05）を上回った。
- 計画タスクではテンプレート軌跡1,000本をコストマップに射影する「shoot」方式を導入し、Top-5精度15.52を報告している。
- 評価はnuScenesとLyftの2データセットに限られ、LiDARオラクル深度を使う手法には全タスクで及ばなかった。
- カメラキャリブレーションに依存し任意のカメラリグへ条件付けできる設計は、BEV認識の標準的な枠組みとしてその後の研究の土台になった。
課題
自動運転の認識は複数カメラの画像からエゴ車両基準の鳥瞰座標で意味表現を出力する必要があるが、従来の画像単位の認識モデルは入力画像と同じ座標系で予測するため、カメラ間の情報統合をタスクに応じて学習できず、計画へ接続する勾配も失われる。
提案手法
各画像を個別に処理して各ピクセルで奥行きカテゴリ分布とコンテキストベクトルを予測し、その外積で各奥行きの特徴を得る「lift」、全カメラの視錐台を外部・内部パラメータで鳥瞰平面に投影してピラーごとに和プーリングする「splat」、BEV CNNでグリッド表現を処理する構成。プーリングはcumsum trickで効率化し、サンプルピラーごとの並べ替えと累積和の境界差分で高速化した。計画は1,000本のテンプレート軌跡をコストマップへ射影し、クロスエントロピーで学習する「shoot」を導入した。
評価と結果
nuScenesとLyftで評価。BEVセグメンテーションIoUはnuScenes車両32.07／Lyft車両44.64で、ベースラインのCNN、Frozen Encoder、OFTを全タスクで上回った。地図セグメンテーションはnuScenesの走行可能領域72.94、レーン境界19.96を達成。LiDARオラクル深度(1スキャン)には全タスクで及ばず（例: nuScenes車両40.26に対し32.07）。計画ではLiDAR(1スキャン)のTop-5 19.27に対し15.52だった。また、訓練時にカメラを1台ドロップすると全6台利用時の性能が向上することを示した。
BEVセグメンテーションIoUの比較（nuScenes／Lyft）
| 手法 | nuScenes Car | nuScenes Vehicles | Lyft Car | Lyft Vehicles |
|---|---|---|---|---|
| CNN | 22.78 | 24.25 | 30.71 | 31.91 |
| Frozen Encoder | 25.51 | 26.83 | 35.28 | 32.42 |
| OFT | 29.72 | 30.05 | 39.48 | 40.43 |
| Lift-Splat | 32.06 | 32.07 | 43.09 | 44.64 |
nuScenes車両セグメンテーションのIoU比較
LiDARオラクル深度との比較（nuScenes）
計画精度の比較（Top-5, Top-10, Top-20）
新規性
ピクセルごとに奥行き分布とコンテキストを予測し、全カメラの特徴を鳥瞰グリッド上で和プーリングする微分可能なlift-splat層により、カメラ配列に依存せずエンドツーエンドでBEV表現を学習できる点。
限界
著者らは単一時刻の画像のみを使うためLiDAR並みの性能には将来の複数時刻入力が必要と明記している。評価はnuScenesとLyftのみで、当時のPONやFISHING NetとはBEVグリッド定義とLyftのバリデーション分割が異なり直接比較ができない。またエンドツーエンド計画の評価はシミュレーション上のオフラインメトリクス（Top-K軌跡分類精度）で、実車・実環境での検証はなされていない。
産業へのインパクト
カメラ画像だけからBEVセグメンテーションをエンドツーエンドで学習する枠組みを確立し、BEV表現の標準設計としてその後広く踏襲された。任意のカメラ数・キャリブレーションに対応する条件付けは、カメラ構成が異なるデータセット間の転移や、センサ設置が異なる開発車両への適用を可能にした。