リアルタイムPixOODに向けて:自動運転のための効率的な異常セグメンテーション
1分まとめ
PixOODのNeyman-PearsonスコアリングをGPU上で再実装しTensorRTでコンパイルすることで、Jetson AGX Orinで75.1FPS、RTX 4060で181.6FPSを実現した。精度はほぼ不変で、標準のroad-region評価は実運用に対して楽観的であることを示した。
- PixOODのNeyman-Pearsonスコアリングをlog空間でGPU再実装し、ONNX経由でTensorRTエンジン化する高速化パイプラインを提案した。
- Jetson AGX Orin(640px, FP16)で75.1FPS、RTX 4060で181.6FPSを達成し、元実装比で最大20倍高速化した。
- 精度はほぼ維持され、LostAndFoundのroad-region APはDINOv2-CSで87.46%とViT-Lベースライン相当だった。
- ただし、LostAndFoundをfull-frameで評価するとAPは0.20%まで低下し、road-region評価は実運用性能を過大評価する。
- OSDaR-ARの障害物はAR合成であり、実物の鉄道障害物での検証は未実施。エネルギー測定もOrinとRTX 4060で測定範囲が異なる。
課題
既存のPixOODはNeyman-PearsonスコアリングをCPUで実行しており、埋め込みGPUではボトルネックとなり、25FPSの要求を満たせない。さらに標準ベンチマークは道路領域のみを評価し、実運用で問題となるオフロード領域の誤検出を無視している。
提案手法
提案手法は、(1) Neyman-Pearsonスコアリングをlog空間のGPUカーネルとgrid_sampleベースのCDFルックアップで再実装し、CPU往復を排除する。(2) バックボーンとMLPデコーダを第1エンジン、KNNとスコアリングを第2エンジンとするTensorRTコンパイルを行う。DINOv3はFP16で数値不安定があるためFP32、DINOv2はFP16で運用する。ViTバックボーンはDINOv2/DINOv3のViT-Sを用いる。
評価と結果
LostAndFound(2048x1024)をroad-regionとfull-frameの両プロトコルで評価。road-regionではDINOv2-CSがAP 87.46%、FPR95 1.81%とViT-Lベースライン相当。full-frameではAPが0.20%に低下。OSDaR-ARではDINOv3-RSが1792pxでAP 56.75%、FPR95 29.77%、DINOv2-RSが896pxでAP 46.77%、FPR95 31.63%。TensorRT化によりOrinで75.1FPS、RTX 4060で181.6FPS(DINOv2, 640px, FP16)を達成。エネルギーはOrinで0.44J/フレーム。元実装比で6〜20倍高速。
TensorRT化による遅延・エネルギー改善(Table 3より抜粋)
| Platform | Model | Res. | Prec. | Baseline (ms / FPS) | TensorRT (ms / FPS) | Baseline Energy (J) | TensorRT Energy (J) |
|---|---|---|---|---|---|---|---|
| RTX 4060 | DINOv2 | 640px | FP16 | 109.4 / 9.1 | 5.51 / 181.6 | 6.23 | 0.56 |
| RTX 4060 | DINOv3 | 640px | FP32 | 119.3 / 8.4 | 9.38 / 106.6 | 7.16 | 1.02 |
| Jetson AGX Orin | DINOv2 | 640px | FP16 | 240.2 / 4.2 | 13.34 / 75.1 | 1.80 | 0.44 |
| Jetson AGX Orin | DINOv3 | 640px | FP32 | 306.4 / 3.3 | 21.73 / 46.0 | 2.52 | 0.71 |
TensorRT化によるFPS向上(Table 3より)
LostAndFoundのAPはfull-frameで急落(Table 1より)
新規性
検出手法そのものではなく、PixOODのスコアリングをGPU化しTensorRT対応にした実装と、運転・鉄道両領域での系統的なレイテンシ・エネルギー評価が新規。既存研究の組み合わせに近い。
限界
著者による明示的なlimitations節はない。ただし、評価はLostAndFoundとOSDaR-ARのみで、OSDaR-ARの異常物体はAR合成。full-frameプロトコルではAPが1%未満に落ちるが、改善策は提案していない。エネルギーはOrinがGPUチップ電源、RTX 4060がボード全体で直接比較できない。DINOv3はFP16非対応でFP32のみ。グリッドサンプリングによる近似はAP偏差0.15%未満。
産業へのインパクト
Jetson AGX Orin級のSoCで25FPSを超える異常セグメンテーションが動作し、0.44J/フレームのエネルギーで処理できることを示した。自動車だけでなく鉄道の障害物検知にも適用可能だが、オフロード領域の誤検出への対策が実運用には必要。