分类：类不平衡问题的解决方法_解决类不平衡 l2-优快云博客

本文链接：https://blog.youkuaiyun.com/qian_chun_qiang/article/details/107610056

本文探讨了类不平衡问题在机器学习中的挑战，介绍了几种有效的解决策略，包括SMOTE重采样方法和改进的损失函数如Focal Loss、CEFL Loss及CEFL2 Loss，这些方法旨在提高小样本类别的分类精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分类：类不平衡问题的解决方法

现实世界的数据集通常会存在**类不平衡(class imbalance)**问题，具有较少样本的类，由于模型习得的较少，因而更容易被误分类。极端情况下，所设计的网络会直接忽略小样本类。

解决这一问题的方法，主要有，

对小样本类进行重采样：SMOTE
修改loss 函数：Focal loss，CEFL loss / CEFL2 loss

对小样本进行重采样：SMOTE

这部分的详细内容可参考博文：https://blog.youkuaiyun.com/qian_chun_qiang/article/details/107169106

修改loss 函数：Focal loss，CEFL loss & CEFL2 loss

Focal loss

在2017由Lin 等人[1]提出，Focal loss的形式为
$FL(p)=-(1-p)^{\gamma}log(p)$
其中 $p$ 为神经网络输出的分类正确的概率， $γ\gamma$ 为固定超参数.

当 $γ=0\gamma=0$ 时，focal loss与交叉熵loss等价。focal loss通过 $(1−p)γ(1-p)^{\gamma}$ 来区别对待不同样本的权重。样本数较多的类别，往往训练精度也较高，focal loss对这些类别赋予更小的loss，而对那些样本数较少容易误分类的类别赋予较高的loss，具体可以看下图，不同的 $γ\gamma$ 值的focal loss。

在这里插入图片描述

CEFL loss & CEFL2 loss

wang等人[2]提出，CEFL loss 和 CEFL2 loss。

CEFL loss对Focal loss中增加交叉熵
$CEFL=-(1-p)log(p)-p(1-p)^{\gamma}log(p)$
特点：

对分类较好的大样本类，应用focal loss来赋予其相对较小的loss值
对来自小样本类的较差分类的样本，应用交叉熵来赋予较大的loss值

CEFL2 loss：
$CEFL2=-\frac{(1-p)^2}{(1-p)^2+p^2}log(p)-\frac{p^2}{(1-p)^2+p^2}(1-p)^{\gamma}log(p)$
CEFL2 loss 与CEFL loss类似，但对容易分类样本和难分类样本的有效loss扩大或缩小。

四种loss计算方法的对比如下图所示。

论文研究结果表明，对比交叉熵和focal loss，分类分类精度有所提高

在这里插入图片描述

参考文献

[1] T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, ``Focal loss fordense object detection,’’ in Proc. IEEE Int. Conf. Comput. Vis., Oct. 2017, pp. 2980-2988.

[2] L. Wang, C. Wang, Z. Sun, S. Cheng, L. Guo, Class Balanced Loss for Image Classification. IEEE Access. 2020, pp. 81142-81153.