往期文章:
在一次询问
chatGPT时候,在他的回答中,由smooth L1联想提到了
Label Smoothing Loss 。我把问题贴到下面,和
chatGPT的回答,供你参考。不知道你是不是也在使用
chatGPT,后面针对这个思考也可以一起交流下。

原本我是想到了在faster RCNN目标检测算法中,对于目标框的位置回归部分,通常采用Smooth L1 Loss。于是我就想到,Smooth L1 Loss是否特能用于分类任务呢?当然,这里我就是脑洞一问,得知了用于分类任务中的Label Smoothing Loss。
一、导言
Label Smoothing Loss和Smooth L1 Loss里面,都有smooth,光滑的,平坦的,平整的。从Smooth L1 Loss,我们知道他是在L1 Loss的基础上,引入了L2 loss。在[1,1]的范围内,采用L2 loss,其他段都是L1 loss。
一
本文介绍了深度学习中从One-hot硬标签到Soft标签的转变,探讨了Label Smoothing Loss和Smooth L1 Loss的原理与应用。Label Smoothing通过平滑标签,缓解了过拟合问题,提高了模型的泛化能力,尤其适用于类别特征差异小的分类任务。同时,文章还讨论了Label Smoothing在不同任务中的效果和潜在的改进方向。
订阅专栏 解锁全文
1849

被折叠的 条评论
为什么被折叠?



