论文阅读笔记之标签平滑

最新推荐文章于 2024-09-11 16:52:45 发布

沐风大大

最新推荐文章于 2024-09-11 16:52:45 发布

阅读量961

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：神经网络可视化深度学习 pytorch

本文链接：https://blog.youkuaiyun.com/weixin_42621901/article/details/111410462

标签平滑是一种正则化方法，防止模型过度信任真实标签以提高泛化能力。它能减少模型的过自信，通过在真实标签上引入不确定性，有助于神经网络在未知数据上的表现。论文通过可视化和实验展示了标签平滑如何改善网络的分类效果，提高网络的校准。然而，在知识蒸馏场景下，标签平滑可能不是最佳选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文题目：When Does Labels Smoothing Help?(2019谷歌大脑)

一、标签平滑

1. 什么是标签平滑

标签平滑（Label Smoothing）是一种正则化方法，常常用于分类问题。

2. 作用

标签平滑能够防止模型在训练过程中过于相信真实标签，从而提高模型在未知数据上的泛化能力。
举个栗子： 在二分类任务中，对猫和狗的图像进行分类。如果预测一只狗的照片，那么真实标签中：1代表狗，0代表猫。那么在训练CNN时，模型预测值会尽量往1和0两个方向移动。这就使得模型对所要预测的图像过于自信，降低了模型的泛化能力。同时，数据集中通常会包含错误标签的数据。这就意味着，模型应该对正确的标签持 ”怀疑态度“。因此，对于1的标签，可以设置为1 - smoothing(平滑系数)，例如0.9。此时，意味着对于所要预测的图像，有0.9的概率是狗，0.1的概率是猫。