目标跟踪tracker_benchmark_v1.0的配置OTB100数据集
5、特点
(1)11种跟踪难点:光照变化 Illumination Variation,尺度变化 Scale Variation,遮挡 Occlusion,形变 Deformation,运动模糊 Motion Blur,快速运动 Fast Motion,平面内旋转 In-Plane Rotation,平面外旋转 Out-of-Plane Rotation,出视野(完全消失) Out-of-View,背景杂波(背景相似目标干扰) Background Clutters,低分辨率 Low Resolution。(注意,VOT中没有出视野这一情况,有遮挡但没有消失,任何时候目标的标注都追求真实准确,而OTB有目标完全消失的情况,这时候的标注框只是理论上的位置,猜的~~没法说错也没法说对;VOT的序列长度都比较短,即short-term,而OTB有long-term测试)
(2)2种评价指标:Precision plot,指标是中心位置偏差 center location error,这个指标没法反映跟踪的尺度和大小是否准确,所以用的不多,我也基本不看这个;Success plot,指标是交叠比 overlap score,这个比较靠谱,VOT中的accuracy也是这个,大部分论文也只放这个结果,请大家只看这个就够了。
(3)3种评价方式: one-pass evaluation (OPE) 一遍过评测,传统方式,第一帧给groundtruth,没有随机性的算法只跑一遍就可以了;temporal robustness evaluation (TRE)时域鲁棒性评测,加入时间干扰,从任意帧开始跟踪测试;spatial robustness evaluation (SRE)空域鲁棒性评测,给第一帧的groundtruth加干扰去初始化。我一般只看OPE,这个与TRE和SRE基本一致。(15’TPAMI中加入了Restart,跟踪失败下一帧马上重新初始化, 这个比较像VOT的重新初始化,不过VOT 5帧以后再初始化更科学合理,Restart的次数反映算法的robust,Restart次数越少、平均交叠比分数越高、说明算法越好)
例外情况:设想一下,有个算法非常非常差,跟一帧丢一帧,那它就会持续初始化,跑出来的结果有一半是groundtruth,会造成robust很低但accuracy比较高的情况;再设想一下,有个算法总是趋向于选择比较大的跟踪框,极限情况如果跟踪框一直是整个图像,那交叠比永远不可能为0,永远不会Restart,会造成accuracy很低但robust很高的情况;正常算法的accuracy和robust是比较均衡的,如果一高一低一定要当心。