分类:类不平衡问题的解决方法

本文探讨了类不平衡问题在机器学习中的挑战,介绍了几种有效的解决策略,包括SMOTE重采样方法和改进的损失函数如Focal Loss、CEFL Loss及CEFL2 Loss,这些方法旨在提高小样本类别的分类精度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

分类:类不平衡问题的解决方法

现实世界的数据集通常会存在**类不平衡(class imbalance)**问题,具有较少样本的类,由于模型习得的较少,因而更容易被误分类。极端情况下,所设计的网络会直接忽略小样本类。

解决这一问题的方法,主要有,

  1. 对小样本类进行重采样:SMOTE
  2. 修改loss 函数:Focal loss,CEFL loss / CEFL2 loss

对小样本进行重采样:SMOTE

这部分的详细内容可参考博文:https://blog.youkuaiyun.com/qian_chun_qiang/article/details/107169106

修改loss 函数:Focal loss,CEFL loss & CEFL2 loss

Focal loss

在2017由Lin 等人[1]提出,Focal loss的形式为
FL(p)=−(1−p)γlog(p) FL(p)=-(1-p)^{\gamma}log(p) FL(p)=(1p)γlog(p)
其中ppp为神经网络输出的分类正确的概率,γ\gammaγ为固定超参数.

γ=0\gamma=0γ=0时,focal loss与交叉熵loss等价。focal loss通过(1−p)γ(1-p)^{\gamma}(1p)γ来区别对待不同样本的权重。样本数较多的类别,往往训练精度也较高,focal loss对这些类别赋予更小的loss,而对那些样本数较少容易误分类的类别赋予较高的loss,具体可以看下图,不同的γ\gammaγ值的focal loss。

在这里插入图片描述

CEFL loss & CEFL2 loss

wang等人[2]提出,CEFL loss 和 CEFL2 loss。

CEFL loss对Focal loss中增加交叉熵
CEFL=−(1−p)log(p)−p(1−p)γlog(p) CEFL=-(1-p)log(p)-p(1-p)^{\gamma}log(p) CEFL=(1p)log(p)p(1p)γlog(p)
特点:

  1. 对分类较好的大样本类,应用focal loss来赋予其相对较小的loss值
  2. 对来自小样本类的较差分类的样本,应用交叉熵来赋予较大的loss值

CEFL2 loss
CEFL2=−(1−p)2(1−p)2+p2log(p)−p2(1−p)2+p2(1−p)γlog(p) CEFL2=-\frac{(1-p)^2}{(1-p)^2+p^2}log(p)-\frac{p^2}{(1-p)^2+p^2}(1-p)^{\gamma}log(p) CEFL2=(1p)2+p2(1p)2log(p)(1p)2+p2p2(1p)γlog(p)
CEFL2 loss 与CEFL loss类似,但对容易分类样本和难分类样本的有效loss扩大或缩小。

四种loss计算方法的对比如下图所示。

论文研究结果表明,对比交叉熵和focal loss,分类分类精度有所提高

在这里插入图片描述

参考文献

[1] T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, ``Focal loss fordense object detection,’’ in Proc. IEEE Int. Conf. Comput. Vis., Oct. 2017, pp. 2980-2988.

[2] L. Wang, C. Wang, Z. Sun, S. Cheng, L. Guo, Class Balanced Loss for Image Classification. IEEE Access. 2020, pp. 81142-81153.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值