自動運転の認識におけるスケーラビリティ：Waymo Open Dataset
1分まとめ
Waymo Open Datasetは、5台のLiDARと5台のカメラによる1,150シーン（各20秒）のマルチモーダル自動運転データセットと、ヘディングを考慮した検出指標APHを公開した。データ規模の増加が3D検出性能を向上させ、都市間のドメインギャップが性能差を生むことを定量的に示した。
- 1,150シーン（各20秒・10Hz）のLiDAR5基とカメラ5台によるマルチモーダルデータを公開し、3D／2Dの検出・追跡タスクと評価指標APHを提供した。
- 注釈は3D約1,200万個・2D約990万個で、カバー面積は76 km2（Table 1）と当時最大級だった。
- ベースラインの3D車両検出APはLEVEL 1／2で63.3／55.6。データを10%から100%に増やすと車両APは29.7→49.8に向上した（Table 10）。
- サンフランシスコとPhoenix周辺のドメインギャップにより、車両3D検出のAPHが最大8.0低下することを示した。
- 当時は地図情報なし・晴天中心のデータで、悪天候時の評価はできない。ベースライン手法は当時のもので現在の最先端ではない。
課題
既存の自動運転データセットは規模と環境バリエーションが限られており、運用地域内外への汎化を評価できなかった。KITTIは22シーン、nuScenesもLiDAR品質が1フレーム34K点と低く、Argoverseは生センサデータが限定的だった。そのため、大規模かつ地理的多様性を持つデータセットと、それを用いた規模効果・ドメインギャップの定量的評価が求められていた。
提案手法
5台のLiDARと5台のカメラを搭載した車両で、サンフランシスコ・Phoenix・Mountain Viewで1,150シーン（各20秒・10Hz）を収録した。LiDARはレンジ画像として、2リターン・毎画素の車両姿勢とカメラ投影情報付きで公開する。3Dでは車両・歩行者・標識・自転車を7自由度の3Dボックスで、2Dでは車両・歩行者・自転車を2Dボックスで全数注釈し、追跡用に一貫したIDを付与した。評価指標として、ヘディング誤差を重み付けするAPHを新設した。ベースラインは3D検出にPointPillars、2D検出にFaster R-CNN、2D追跡にTracktor、3D追跡にKalman filterベースのtracking-by-detectionを用いた。
評価と結果
評価はTrain 798／Validation 202／Test 150シーンで行い、テストセットは地理的ホールドアウト地域から選んだ。3D検出のIoUは車両0.7、歩行者0.5。3D検出の車両APは63.3／55.6（LEVEL 1／2）、APHは62.8／55.1。歩行者APは62.1／55.9、APHは50.2／45.1。2D検出はFaster R-CNNで車両AP 63.7／53.3、歩行者AP 55.8／52.7。3D追跡は車両MOTA 42.5／40.1、歩行者38.9／37.7。データセット規模の実験では、車両APが10%訓練で29.7、100%で49.8（LEVEL 2）。ドメインギャップの実験では、SF訓練→SUB評価でAPHが8.0低下した（LEVEL 2、IoU 0.7）。
公表時点の主要データセット比較（原論文Table 1より）
| データセット | シーン数 | 3Dボックス | 2Dボックス | LiDAR数 | カメラ数 | 平均LiDAR点数/フレーム | 訪問面積 (km2) |
|---|---|---|---|---|---|---|---|
| KITTI | 22 | 80K | 80K | 1 | 4 | 120K | – |
| nuScenes | 1000 | 1.4M | – | 1 | 6 | 34K | 5 |
| Argoverse | 113 | 993k | – | 2 | 9 | 107K | 1.6 |
| Ours | 1150 | 12M | 9.9M | 5 | 5 | 177K | 76 |
新規性
新規性はデータセットの規模・地理的多様性・低レベルLiDAR情報の提供と、ヘディング考慮のAPH指標、およびデータ規模・ドメインギャップの定量分析にある。既存手法の組み合わせではない。
限界
著者によるlimitationsの明記はなし。将来課題として地図情報の追加と、運転行動・天候の多様化が挙げられており、公開当時は地図なし・晴天中心で、夜間シーンは一部含むが悪天候は十分でない。LiDAR注釈は75m以内、2D注釈はカメラ可視範囲のみという注釈範囲の制約がある。またベースライン手法（PointPillars等）は当時のもので、現在のSoTAと性能を直接比較すべきではない。データセットは現在も公開・更新が続いており、評価指標も広く使われている。
産業へのインパクト
自動運転認識研究の土台となる公開ベンチマークを確立した点が重要。この論文が公開されるまで、LiDAR+カメラの大規模データセットは存在せず、APHのようなヘディング考慮の指標も標準化されていなかった。以後、Waymo Open Datasetは3D物体検出・追跡の比較に用いられる標準的な参照点となり、ドメインギャップやデータ規模の効果を研究するための共通の土俵を提供した。日本のメーカー・サプライヤーにとっても、外部の共通データで認識性能を検証できる基盤となった。