focal loss、importance sampling、 adaptive batch normlization

focal loss

Focal Loss for Dense Object Detection，ICCV 2017， RBG和Kaiming大神

• 作者提出focal loss的出发点是：希望one-stage detector可以达到two-stage detector的准确率，同时不影响原有的速度。
• one-stage detector的准确率不如two-stage detector的原因，作者认为原因是：样本的类别不均衡导致的。
• 不平衡导致的后果：负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。
• OHEM（online hard example mining）：OHEM算法虽然增加了错分类样本的权重，但是OHEM算法忽略了容易分类的样本。
• focal loss，在标准交叉熵损失基础上修改得到的：
  a. 这个函数首先通过 $\alpha$ 给正负样本加上权重，负样本出现的频次多，那么就降低负样本的权重，正样本数量少，就相对提高正样本的权重。因此可以通过设定a的值来控制正负样本对总的loss的共享权重。