MATS: 自動運転における3D認識のための新規マルチモーダル・マルチタスク学習フレームワーク
1分まとめ
MATSは、カメラとLiDARのBEV特徴を複数の融合ブランチで多様化し、タスク別MoEで3D物体検出とBEVマップセグメンテーションを同時学習する。nuScenes検証セットでmAP 67.5、mIoU 64.6を達成し、同一エンコーダのUniTR*に対しmAP 1.4ポイント、mIoU 4.8ポイント向上した。
- 単一のBEV特徴マップを複数の融合ブランチで多様化し、タスク別MoEで3D物体検出とBEVマップセグメンテーションを同時学習するMATSを提案した。
- nuScenes検証セットのマルチタスク学習でmAP 67.5、mIoU 64.6を達成し、同一エンコーダのUniTR*よりmAP 1.4ポイント、mIoU 4.8ポイント向上した。
- セグメンテーションの改善が大きく、mIoUはBEVFusion*の40.4から64.6へ24.2ポイント向上し、検出タスクの勾配支配を緩和したためと分析している。
- 評価はnuScenes検証セットのみで実車・シミュレーション検証はなく、SOTA比較のFuLLERは再学習されておらず比較条件が完全には揃っていない。
- タスク間の負の転移を抑える設計は、複数タスクを1モデルで担う量産ECU向け認識ソフトウェアの開発に直接応用できる。
課題
既存のマルチモーダル・マルチタスク3D認識は、複雑な融合戦略で単一のBEV特徴マップに情報を圧縮するため、タスクごとに必要な情報を十分に担えず、負の転移を起こす。特に3D物体検出とマップセグメンテーションでは、個々の物体の位置・クラスとシーン全体の意味領域という要求の違いから、単一特徴マップでは特徴衝突が生じる。
提案手法
提案手法MATSは、カメラとLiDARの各エンコーダ（UniTRのエンコーダを使用）が出力するBEV特徴を結合し、3×3畳み込みとグローバル平均プーリング＋1×1畳み込みによるチャネルリキャリブレーションからなる軽量な融合ブランチをN=3本並列に持ち、多様な融合BEV特徴マップを生成する。その後、タスク別MoEでは検出専用・セグメンテーション専用・共有の3グループにエキスパートを分割し、noisy top-kゲートで各タスクに適した特徴を選択する。損失は検出（分類焦点損失・bbox回帰L1・ヒートマップ焦点損失）とセグメンテーション（焦点損失）の重み付き和（α=1.0、β=2.0）で、検出ヘッドにはTransFusionHeadを用いる。
評価と結果
nuScenesの訓練28,130／検証6,019サンプルで評価した。マルチタスク学習ではmAP 67.5、NDS 70.8、mIoU 64.6を達成し、同一エンコーダ・同一バッチサイズで再学習したUniTR*（mAP 66.1、mIoU 59.8）を上回った。BEVFusion*（mIoU 40.4）との差は24.2ポイントである。アブレーションでは、融合モジュールのみでmAP 67.2、mIoU 63.5、MoEのみで66.9、61.3、両方で67.5、64.6となった。融合ブランチ数はN=3が最良で、DAOccをベースに3タスク（検出・占有・セグメンテーション）へ拡張した場合も、検出mAP 59.1、占有mIoU 48.8、セグmIoU 53.7とDAOccのマルチタスク学習（57.2、45.9、51.3）を上回った。
nuScenes検証セットにおけるマルチタスク学習の比較（Table 1抜粋）
| 手法 | モダリティ | mAP | NDS | mIoU |
|---|---|---|---|---|
| BEVFusion [12]* | L+C | 65.8 | 69.6 | 40.4 |
| FuLLER [15] | L+C | 60.5 | 65.3 | 58.4 |
| UniTR [17]* | L+C | 66.1 | 70.1 | 59.8 |
| HENet++ [60] | C | 56.7 | 63.7 | 58.3 |
| UniSparseBEV [61] | C | 45.1 | 55.4 | 49.3 |
| DAOcc [62]* | L+C | 57.2 | 61.8 | 51.3 |
| MATS | L+C | 67.5 | 70.8 | 64.6 |
マルチタスク学習におけるBEVセグメンテーション性能（mIoU）
新規性
融合ブランチの複数化とタスク別MoEの組み合わせが新規性の中心であり、個々の要素はチャネルリキャリブレーションとsparse MoEに類似しているが、マルチタスク3D認識への適用と組み合わせが新しい。
限界
著者による明示的な限界の記述はない。ただし、評価はnuScenes検証セットのみで、シミュレーションや実車での検証は行われていない。比較対象のうちFuLLERはコード非公開のため再学習されておらず、バッチサイズなどがMATSと異なる可能性がある。また、融合ブランチ数やエキスパート数はnuScenesで調整されており、他データセットやセンサ構成への汎用性は未確認。パラメータ数はUniTR+MATSで44.5M（UniTRの39.3Mから約5.2M増）だが、推論時間やメモリ使用量の詳細な解析はない。
産業へのインパクト
複数タスクを1モデルで処理する量産向け認識ソフトウェアにおいて、タスク間の負の転移を軽減する設計指針として参考になる。特に、複数のBEV特徴マップを持つ構成は低解像度のためメモリ増加が小さいと主張されており、車載ECUの制約下での実装可能性を検討する価値がある。ただし、評価がnuScenesに限定されており、日本の道路環境やセンサ配置への転用には追加の検証が必要である。