【PaperReading】Rethinking the Inception Architecture for Computer Vision(Label Smoothing)

本文解析了一种防止深度学习模型过拟合的技术——Label Smoothing。通过在真实标签中加入均匀分布的噪声,使标签更加平滑,从而提升模型泛化能力。在ImageNet实验中,对Top-1和Top-5错误率均有约0.2%的绝对提升。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文链接:https://arxiv.org/pdf/1512.00567.pdf

1.Model Regularization via Label Smoothing

主要思想是改变以往ground truth label  one hot 编码的方式,引入一些固定分布的噪声,使得label更加soft,防止过拟合

简单来说,可以加入一个固定的均匀分布到label中。

从LOSS角度来看,其实是加入了一个新的loss,防止过拟合。

可以认为 loss 函数分别以不同的权重对 predicted label 与标注的label 的差距 以及 predicted label 与 先验分布的差距 进行惩罚。根据文章的报告,可以对分类性能有一定程度的提升。(In our ImageNet experiments with K = 1000 classes, we used u(k) = 1/1000 and = 0.1. For ILSVRC 2012, we have found a consistent improvement of about 0.2% absolute both for top-1 error and the top-5 error )

 

Reference:

1. https://blog.youkuaiyun.com/edogawachia/article/details/78552257

2. https://arxiv.org/pdf/1512.00567.pdf


 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值