分类:类不平衡问题的解决方法
现实世界的数据集通常会存在**类不平衡(class imbalance)**问题,具有较少样本的类,由于模型习得的较少,因而更容易被误分类。极端情况下,所设计的网络会直接忽略小样本类。
解决这一问题的方法,主要有,
- 对小样本类进行重采样:SMOTE
- 修改loss 函数:Focal loss,CEFL loss / CEFL2 loss
对小样本进行重采样:SMOTE
这部分的详细内容可参考博文:https://blog.youkuaiyun.com/qian_chun_qiang/article/details/107169106
修改loss 函数:Focal loss,CEFL loss & CEFL2 loss
Focal loss
在2017由Lin 等人[1]提出,Focal loss的形式为
FL(p)=−(1−p)γlog(p)
FL(p)=-(1-p)^{\gamma}log(p)
FL(p)=−(1−p)γlog(p)
其中ppp为神经网络输出的分类正确的概率,γ\gammaγ为固定超参数.
当γ=0\gamma=0γ=0时,focal loss与交叉熵loss等价。focal loss通过(1−p)γ(1-p)^{\gamma}(1−p)γ来区别对待不同样本的权重。样本数较多的类别,往往训练精度也较高,focal loss对这些类别赋予更小的loss,而对那些样本数较少容易误分类的类别赋予较高的loss,具体可以看下图,不同的γ\gammaγ值的focal loss。
CEFL loss & CEFL2 loss
wang等人[2]提出,CEFL loss 和 CEFL2 loss。
CEFL loss对Focal loss中增加交叉熵
CEFL=−(1−p)log(p)−p(1−p)γlog(p)
CEFL=-(1-p)log(p)-p(1-p)^{\gamma}log(p)
CEFL=−(1−p)log(p)−p(1−p)γlog(p)
特点:
- 对分类较好的大样本类,应用focal loss来赋予其相对较小的loss值
- 对来自小样本类的较差分类的样本,应用交叉熵来赋予较大的loss值
CEFL2 loss:
CEFL2=−(1−p)2(1−p)2+p2log(p)−p2(1−p)2+p2(1−p)γlog(p)
CEFL2=-\frac{(1-p)^2}{(1-p)^2+p^2}log(p)-\frac{p^2}{(1-p)^2+p^2}(1-p)^{\gamma}log(p)
CEFL2=−(1−p)2+p2(1−p)2log(p)−(1−p)2+p2p2(1−p)γlog(p)
CEFL2 loss 与CEFL loss类似,但对容易分类样本和难分类样本的有效loss扩大或缩小。
四种loss计算方法的对比如下图所示。
论文研究结果表明,对比交叉熵和focal loss,分类分类精度有所提高
参考文献
[1] T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, ``Focal loss fordense object detection,’’ in Proc. IEEE Int. Conf. Comput. Vis., Oct. 2017, pp. 2980-2988.
[2] L. Wang, C. Wang, Z. Sun, S. Cheng, L. Guo, Class Balanced Loss for Image Classification. IEEE Access. 2020, pp. 81142-81153.