自動運転システムテストのサーベイ：ランドスケープとトレンド
1分まとめ
ADSテストの既存研究181本を体系化し、モジュールレベルとシステムレベルの両方からテスト技法・オラクル・十分性基準を整理したサーベイである。収集論文の54%がシステムレベルテスト、22%が認識モジュールを対象としており、シミュレータと実世界のギャップを今後の課題として提示している。
- 181本の論文を系統的レビューし、モジュール単位とシステム全体の両方でADSテスト手法を整理した。
- 収集論文の38%が交通系会議、25%がソフトウェア工学会議で発表され、システムレベルテストが54%を占める。
- Apollo/Autowareの499バグ分析やOpenPilotの235バグ分類など、実リポジトリと公開衝突報告に基づく実証研究も多数含む。
- ただし収集は2022年6月までの査読済み論文に限定され、実験の多くはシミュレーション中心で実車評価の知見は限られる。
- モジュール別の技法差とシミュレータと実世界のギャップを体系化した基盤であり、現在の研究の参照点になる。
課題
自動運転システム（ADS）はセンシング、認識、計画、制御の複数モジュールで構成され、各モジュールで技術的特徴が大きく異なる。既存のサーベイの多くはシステム全体をシミュレータでテストする手法に注目し、モジュールごとのテスト技法の違いや、モジュール間連携に起因する障害、シミュレータと実世界の隔たりを十分に扱っていなかった。
提案手法
DBLP検索とスノーボーリング等により181本の論文を収集し、データ抽出フォームを用いて分析した。モジュールレベルでは「テスト方法・オラクル・十分性基準」の3視点、システムレベルでは「実証研究・モジュール連携・シミュレータと実世界のギャップ」の観点で分類している。代表的なオープンソースADS（Apollo、Autoware、OpenPilot、Pylot）とシミュレータ（BeamNG）を前提に技法を整理した。
評価と結果
収集181本の内訳は、システムレベルテストが54%、認識モジュールが22%。発表会場は交通系38%、ソフトウェア工学系25%、セキュリティ系10%、AI系7%だった。実証研究では、ApolloとAutowareの499バグから13の根本原因・20の症状・18の関連コンポーネントを抽出した。OpenPilotでは235バグを分類し、車種インタフェース関連バグが31.48%、計画・制御バグが25.95%を占めた。認識モジュールへの敵対的攻撃では、実環境条件で84.8%の誤認識率を報告した研究がある。
論文Table 8で整理された主な安全指標
| 分類 | 指標 | 説明 |
|---|---|---|
| 時間系 | TTC | 現在の速度と経路で2物体が衝突するまでの時間 |
| 時間系 | WTTC | 最も起こりうる事故シナリオにおける衝突時刻 |
| 時間系 | MPrISM | 車両間のゲーム的相互作用を考慮したTTC推定 |
| 時間系 | THW | 2物体が同一地点に到達するまでの時間間隔 |
| 時間系 | TTR | 全物体との衝突を回避できる最終操作開始までの残り時間 |
| 非時間系 | SD | 最大快適減速度で停止するまでの距離 |
| 非時間系 | LP | 車両中心と車線中心の距離 |
| 非時間系 | DRAC | 衝突回避に必要な最小減速度 |
| 非時間系 | SARR | 一定値を超える操舵角反転の回数 |
収集論文の発表会場別割合
収集論文のテスト対象別割合
新規性
既存サーベイがシステム全体を単一対象としていたのに対し、モジュールごとのテスト技法の差異を初めて体系的に扱い、シミュレータと実世界のギャップを明示的に論点化した点が新規性である。
限界
著者による明示的な限界の記述はない。収集対象はDBLP収録かつ査読済み論文に限られ、プレプリントと早期成果は除外している。検索語に「test/attack/validation」が含まれるため、HMI品質や防御手法は対象外である。実験環境はシミュレーションまたはデジタルデータセットが中心で、実車評価の知見は公開衝突報告の分析に限られる。2022年6月までの収集のため、その後のテスト手法の進展は含まれない。
産業へのインパクト
この論文は、モジュールごとにテスト技法が異なるという認識がまだ一般化していなかった時期に、モジュールレベルとシステムレベルの区分、方法論・オラクル・十分性の3視点という分類軸を確立した。自動車メーカーやサプライヤーの研究開発者にとっては、自社のテスト工程がどのカテゴリに該当し、どの技法が未検討かを確認するためのロードマップとなる。直接実装に効く手法提案ではないが、以後のADSテスト研究の共通参照点として標準的な位置づけを得ている。