这篇论文主要就是在faster rcnn上加上了online hard example mining,论文还是比较容易理解的。
首先回顾一下,faster rcnn的mini batch 的生成过程。
在faster rcnn中mini batch设定为2张图片,每张图片生成128个roi,然后输入进入roi网络。
如下图(这是fast rcnn的图,faster rcnn中rpn和deep conv有段共享计算的过程)
很明显faster rcnn中rpn网络生成的roi远远多于128,所以这128是从rpn生成的所有roi中随机抽样(好草率。。)出来的。正负样本比例为1:3,其中正样本定义为iou > =0.5,负样本定义为 0.1<= iou < 0.5。
上述的定义的数值都是人为启发式的,所以严格上来说并不是那么'理智'。所以作者提出了难例挖掘这一改进。当然在机器学习学习中尤其是在svm中早就已经使用,又称为bootstrapping。
传统的难例挖掘流程