Focal Loss

一、基本概念

Focal Loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可以理解为一种困难样本挖掘。

二、损失函数形式

Focal Loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉熵损失：

y'是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化到最优。Focal Loss的改进如下：

在原有的基础上加了一个因子，其中gamma > 0减少易分类样本的损失。使得更关注于困难的、错分的样本。

例如gamma为2，对于正样本而言，预测结果为0.95肯定是简单样本，所以（1-0.95）的gamma次方就会很小，这时损失函数值就变得更小。而预测概率为0.3的样本损失相对很大。对于负样本而言同样，预测0.1的结果应当远比预测0.7的样本损失值要小