MTP: Multi-hypothesis Tracking and Prediction for Reduced Error Propagation (IV2022)
Summary
- from Carnegie mellon and nvidia
- https://www.youtube.com/watch?v=ydQ9IPbX_-A
- multi-hypothesis tracking and prediction framework の提案
- tracking results を複数持つことでpredictionの性能を上げる
- tracking errors が prediction performance に与える影響の解析も行っていたり、実験条件がかなり詳細
Background
- tracking errors
- Identity Switches (IDS)
- Fragments (FRAG)
- Assessment
- datasetごとによくまとまっている
- KITTI: 10 past frame
- nuScenes: 12 future frame, 4 past frame (2fps * 2)
- Errorの種類の解析
- IDS causes large prediction errors
- Wrongly-tracked FRAG can also cause errors
- Under-tracked FRAG causes missing predictions
- Spurious tracks cause false positives
- tracking errors が prediction performance に与える影響の解析
Method
- framework
- Multi-Hypothesis Data Association (MHDA)
- Murty’s H-best assignment
- Hungarian algorithm のtop H lowest cost を計算
- Trajectory Sampling
- K-Means++ を用いてpredictしたtrajectoryのsamplingをおこなう
- 外れ値処理と計算効率のため
Experiment
- AB3DMOT + PTP
- score up
- 使用しているアルゴリズム
- AB3DMOT for tracking
- PTP for trajectory prediction
- H: trajectoryの数
- k: predictionの数
- IDS FRAG起こっていたtracked objectでのpredictionの結果
- Re-trackingとの比較
- R. Yu and Z. Zhou, “Towards Robust Human Trajectory Prediction in Raw Videos,” arXiv:2108.08259, 2021.
- 更に他の論文との比較
- SimpleTrack+AgentFormer が強い