论文阅读笔记之标签平滑

标签平滑是一种正则化方法,防止模型过度信任真实标签以提高泛化能力。它能减少模型的过自信,通过在真实标签上引入不确定性,有助于神经网络在未知数据上的表现。论文通过可视化和实验展示了标签平滑如何改善网络的分类效果,提高网络的校准。然而,在知识蒸馏场景下,标签平滑可能不是最佳选择。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文题目:When Does Labels Smoothing Help?(2019谷歌大脑)

一、标签平滑

1. 什么是标签平滑

标签平滑(Label Smoothing)是一种正则化方法,常常用于分类问题。

2. 作用

标签平滑能够防止模型在训练过程中过于相信真实标签,从而提高模型在未知数据上的泛化能力。
举个栗子: 在二分类任务中,对猫和狗的图像进行分类。如果预测一只狗的照片,那么真实标签中:1代表狗,0代表猫。那么在训练CNN时,模型预测值会尽量往1和0两个方向移动。这就使得模型对所要预测的图像过于自信,降低了模型的泛化能力。同时,数据集中通常会包含错误标签的数据。这就意味着,模型应该对正确的标签持 ”怀疑态度“。因此,对于1的标签,可以设置为1 - smoothing(平滑系数),例如0.9。此时,意味着对于所要预测的图像,有0.9的概率是狗,0.1的概率是猫。

二、主要工作

平滑标签能够防止神经网络变得过于自信,标签平滑技术被很多先进的网络所使用。
(1)对标签平滑如何提高网络的泛化能力进行了可视化论证
(2)标签平滑具有隐式的网络校正功能
(3)在知识蒸馏的情况下,不使用标签平滑

二、可视化

在论文中,非常直观地展示了标签平滑对神经网络分类任务的影响。作者在常见分类数据集上进行了实验,如下图所示。
通过观察实验结果,可以看到的是:标签平滑强制对分类结果进行更紧密的分组,同时强制在聚类之间进行更等距的间隔。
总结: 标签平

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值