BDD100K: 多様な運転データセットとheterogeneousマルチタスク学習のベンチマーク
1分まとめ
米国各地から収集した10万本の運転ビデオと10種類のタスクを備えたBDD100Kを構築し、同質・カスケード・異質のマルチタスク学習の評価を行った。
- 10万本の運転ビデオ（各40秒、720p/30fps）と10タスクのアノテーションを備えた大規模データセットBDD100Kを構築した。
- レーン検出と走行可能領域の同時学習では、10K画像の学習でレーンODS-F（τ=10）が45.41%から50.40%に向上した一方、20K/70Kでは単一タスク学習との差はほぼ消えた。
- インスタンスセグメンテーションは検出データとの併用学習でAPが21.8から24.5に、MOTSは検出・追跡・インスタンスセグメンテーションの併用でMOTSAが30.4から41.4に向上した。
- 評価はシミュレーションではなく実データだが、画像タスクのアノテーションは各ビデオの10秒時点の1フレームのみで、時間的な多様性は追跡系タスクに限られる。
- 現在の自動運転認識研究で標準的に使われるBDD100Kは、データ多様性とheterogeneousマルチタスク学習の関係を調べる土台を築いた論文である。
課題
既存の運転データセット（KITTI、Cityscapes等）は収集地域や天候・時間帯の多様性が限られ、アノテーションも単一タスク向けが中心だった。実世界の自動運転では出力構造の異なる複数タスク（画像タグ付け、レーン検出、物体検出、セグメンテーション、追跡など）を同時に解く必要があるが、大規模データ上でheterogeneousマルチタスク学習を評価できるデータセットが存在しなかった。
提案手法
クラウドソーシングにより米国各地（ニューヨーク、サンフランシスコ・ベイエリア等）から10万本の運転ビデオ（各40秒、720p/30fps、GPS/IMU付き）を収集した。画像タスクは各ビデオの10秒時点のフレームにアノテーションし、追跡タスクはシーケンス全体を使用する。タスクは画像タグ付け（天候6種、シーン6種、時間帯3種）、レーン検出（8カテゴリ＋連続性・方向属性）、走行可能領域（直接/代替）、物体検出（10カテゴリ）、セマンティックセグメンテーション（40クラス）、インスタンスセグメンテーション、MOT（2,000ビデオ）、MOTS（90ビデオ）、ドメイン適応、模倣学習の10種類。評価ではDLA-34、Faster R-CNN、Mask R-CNN等の既存モデルをベースに、単一タスク学習、同質マルチタスク学習（レーン＋走行可能領域）、カスケードマルチタスク学習（検出→インスタンスセグメンテーション、検出→MOT、検出＋レーン＋走行可能領域→セマンティックセグメンテーション）、heterogeneousマルチタスク学習（検出＋MOT＋インスタンスセグメンテーション＋MOTS）を比較した。
評価と結果
同質マルチタスク学習（Table 5）では、10K画像でレーンODS-F（τ=10）が単一タスク45.41%から併用学習50.40%に向上したが、走行可能領域mIoUは64.23%から64.37%とほぼ不変。20K/70Kでは両タスクとも併用学習の優位はほぼ消えた。カスケード学習では、インスタンスセグメンテーションAPが検出併用で21.8→24.5（Table 6）、MOTの検出APが28.1→30.7、MOTAが55.0→56.7（Table 7）、セマンティックセグメンテーションmIoUが56.9→58.3（Table 8、Sem-Seg+Det）。MOTSでは、スクラッチ学習のAP 13.0/MOTSA 30.4に対し、検出＋MOT＋インスタンスセグメンテーション＋MOTSの4タスク併用でAP 23.3/MOTSA 41.4（Table 9）。ドメイン差実験（Table 4）では、City-30Kで学習しCityテストでAP 29.5、Non-Cityテストで26.5、Daytime-30K学習でDaytimeテスト30.6、Non-Daytimeテストで23.6と、昼夜間のドメイン差が大きいことを示した。
カスケードマルチタスク学習の効果
| タスク | 学習設定 | AP | MOTA | MOTSA | mIoU |
|---|---|---|---|---|---|
| インスタンスセグメンテーション | Inst-Segのみ | 21.8 | - | - | - |
| インスタンスセグメンテーション | Inst-Seg + Det | 24.5 | - | - | - |
| MOT | MOTのみ | 28.1 | 55.0 | - | - |
| MOT | MOT + Det | 30.7 | 56.7 | - | - |
| セマンティックセグメンテーション | Sem-Segのみ | - | - | - | 56.9 |
| セマンティックセグメンテーション | Sem-Seg + Det | - | - | - | 58.3 |
| MOTS | MOTSのみ（スクラッチ） | 13.0 | - | 30.4 | - |
| MOTS | Det + T + I + S（4タスク併用） | 23.3 | - | 41.4 | - |
同質マルチタスク学習: レーン検出ODS-Fと走行可能領域mIoU（70K学習時）
カスケードマルチタスク学習: MOTSのMOTSAとAP
新規性
既存の運転データセットに欠けていた地理・天候・時間帯の多様性を大規模に備え、単一データセットで出力構造の異なる10タスクを提供してheterogeneousマルチタスク学習のベンチマークを初めて構築した点が新規性である。
限界
著者による明記はないが、以下の制約が論文から読み取れる。画像タスクのアノテーションは各ビデオの1フレームのみで、時間的コンテキストを要するタスク（MOT、MOTS、模倣学習）以外ではビデオの利点が活かされていない。MOTSデータセットは90ビデオと小さく、アノテーション密度はMOTS Challengeと同水準（Ann./Fr. 9.20）だが、シーケンス数ではKITTI MOTS（21）より多い。物体検出のドメイン実験は同一データセット内の分割であり、地域移動（米国内）や天候変化の一般化を直接検証していない。また、ベンチマークモデルはすべて当時の標準的なアーキテクチャ（Faster R-CNN、Mask R-CNN、DLA-34）で、後の手法と比較する際は性能値が古い点に注意が必要。BDD100K自体はその後も物体検出・セグメンテーション等の標準ベンチマークとして広く使われ、Waymo Open Dataset等の競合も登場したが、本論文のheterogeneousマルチタスク学習の実験は限定的な組み合わせの検証にとどまる。
産業へのインパクト
BDD100Kは、データ多様性（地理、天候、時間帯、シーン）を明示的に設計した大規模運転データセットの先駆けであり、以後の自動運転認識研究で標準的な評価データセットの1つとなった。また、単一データセット上で出力構造の異なる10タスクを提供し、heterogeneousマルチタスク学習の評価を可能にした点が重要である。日本の自動車メーカー・サプライヤーにとっては、自社データの収集・アノテーション設計や、複数認識タスクを1モデルで扱う際の学習戦略（単純な併用ではデータ量が増えても性能が頭打ちになる）を検討する際の基準として参照価値が高い。