为什么你的分类模型总过度自信?用PyTorch的LabelSmoothing拯救泛化能力

深度神经网络中的不确定性:为什么你的AI模型总是‘过度自信’? 本文深入探讨了深度神经网络中普遍存在的‘过度自信’问题及其潜在风险。文章系统分析了过度自信的根源,并详细介绍了如何量化与管理模型的不确定性,包括认知不确定性和偶然不确定性的区别,以及蒙特卡洛Dropout、深度集成等主流估计方法。对于构建高可靠性的AI系统,尤其是在医疗、自动驾驶等关键领域,理解和校准模型的不确定性至关重要。 阅读详情

为什么你的分类模型总过度自信?用PyTorch的LabelSmoothing拯救泛化能力

你有没有遇到过这种情况:模型在训练集上表现近乎完美,准确率直奔99%,可一到测试集或者真实场景里,预测结果就开始“飘忽不定”,甚至对一些模棱两可的样本给出极其武断的、接近100%的类别概率?这种“过度自信”的现象,在深度学习分类任务中几乎成了通病。它背后反映的,不仅仅是模型记住了训练数据,更是一种对概率估计的校准失效——模型输出的置信度,已经无法真实反映其预测正确的可能性。

这种现象在自然语言处理(NLP)和计算机视觉(CV)中尤为常见。比如,一个情感分析模型可能对一条带有轻微讽刺的评论,以0.95的概率判定为“积极”;一个图像分类器可能对一张光照不佳的猫狗混合图片,以0.99的概率咬定是“狗”。这种极端概率输出,不仅让下游应用(如风险决策系统)难以设置合理的置信度阈值,也暴露了模型泛化能力的脆弱性。其根源,往往可以追溯到我们最常用的损失函数——交叉熵损失(CrossEntropyLoss),以及与之配套的 one-hot编码标签 所构成的“完美主义”训练目标。

今天,我们就来深入探讨这个问题的本质,并手把手教你用PyTorch中一个简单却强大的技巧——标签平滑(Label Smoothing)——来给你的模型“降降温”,让它输出的概率更稳健、更可信,从而真正提升其在未知数据上的泛化表现。

1. 过度自信的元凶:交叉熵与one-hot标签的“完美陷阱”

要理解标签平滑为何有效,首先得看清问题是怎么产生的。我们训练分类模型的常见流程是:模型最后一层输出每个类别的得分(logits),然后通过Softmax函数转换成概率分布,最后用交叉熵损失来衡量这个预测分布与真实标签分布之间的差距。

这里的关键在于“真实标签分布”。在绝大多数分类任务中,我们使用one-hot编码:对于属于类别k的样本,其标签向量在第k个位置为1,其余位置全为0。这看似合理,却埋下了一个隐患。

1.1 交叉熵损失的目标驱动

交叉熵损失函数定义为:

L = - Σ (y_i * log(p_i))

其中 y_i 是真实标签的one-hot向量,p_i 是模型预测的Softmax概率。由于 y_i 只在真实类别处为1,其他处为0,这个公式实际上简化为:

L = - log(p_target)

也就是说,损失函数只关心模型对真实类别预测概率的对数值。为了最小化损失,模型会竭尽全力地让 p_target 趋近于1。在优化过程中,这直接转化为对输出logits的“极端化”推动:模型会试图让目标类别的logits远远大于其他类别的logits。

注意:这种驱动本身是学习过程的核心,本身并无过错。问题在于,当它与有限的、有噪声的训练数据结合时,就容易走向极端。

1.2 “无穷大”的最优解与模型脆弱性

从数学上看,对于固定的标签 y,当 p_target -> 1 时,-log(p_target) -> 0。但 p_target = 1 只有在目标类别logits趋于正无穷,而其他类别logits趋于负无穷时,才能通过Softmax实现。虽然实际训练中受权重范数等约束无法达到无穷,但优化方向明确指向拉大logits之间的绝对差距。

这种训练目标会导致两个主要问题:

  1. 对标签噪声极度敏感:训练数据中难免存在错误标注。一个被错误标记的样本,会强迫模型将一个完全不相关的特征与一个错误类别建立极强的关联,这相当于在权重中注入了一个难以纠正的“坏记忆”。
  2. 抑制了类间合理的关系:在很多任务中,类别之间并非毫无关联。例如,“拉布拉多犬”和“金毛犬”在视觉上共享大量特征。one-hot标签隐含地假设所有错误类别都是“同等错误”且与目标类别完全无关,这迫使模型忽略这些合理的相似性,从而学习到过于“尖锐”的决策边界,泛化能力下降。

下面的表格对比了传统训练与引入标签平滑后,模型学习目标的变化:

特性传统交叉熵 + One-hot标签标签平滑交叉熵
真实标签分布绝对确定 (0或1)不确定 (平滑分布)
对目标类别的鼓励概率尽可能接近 1概率接近 1 - ε
对非目标类别的惩罚概率尽可能接近 0概率允许接近 ε/(K-1)
对标签噪声的鲁棒性弱较强
是否鼓励极端logits是否
是否隐含类间关系否是(通过共享平滑概率)

简单来说,传统方法像是在教模型:“你必须百分百确定这是A,并且百分百确定这不是B、C、D…”。而标签平滑则说:“这很可能是A,但也有微小的可能性是其他类别”。后者显然更符合我们对真实世界不确定性的认知。

2. 标签平滑的数学直觉:从“硬目标”到“软目标”

标签平滑的概念并不新鲜,它在Inception-v3等经典论文中被提出并验证有效。其核心思想非常简单:将one-hot的“硬标签”替换为一个“软标签”。

具体来说,对于一个K类分类问题,传统的one-hot标签向量 y 中,真实类别索引 t 处为1,其余为0。标签平滑将其修改为:

y'_i = {
    (1 - ε) + ε/K,   if i = t
    ε/K,             if i ≠ t
}

其中,ε 是一个小的平滑系数,通常设置在0.05到0.2之间,0.1是一个常见的选择。

2.1 公式的直观解读

这个公式可以拆解为两部分来理解:

  1. (1 - ε) 的权重:我们仍然相信样本有 (1 - ε) 的概率属于标注的类别 t。这是对原始标签信息的保留。
  2. ε/K 的均匀分布:我们将剩余的 ε 概率质量,均匀地分配给所有K个类别(包括目标类别本身)。这代表了我们对标签可能出错,或者样本可能具有一定歧义性的先验认知。

因此,平滑后的标签 y' 可以看作是两个分布的加权混合: y' = (1 - ε) * one_hot(t) + ε * uniform_distribution

提示:这里均匀分布的选择是最简单的先验。在一些高级变体中,可以根据类别的相似性(如WordNet层次结构)使用非均匀的先验分布,但这超出了本文基础范围。

2.2 它如何解决过度自信?

当我们将这个软标签 y' 代入交叉熵损失函数时,损失函数变为: L_smooth = - Σ y'_i * log(p_i) = -[(1-ε+ε/K)*log(p_t) + Σ_{i≠t} (ε/K)*log(p_i)]

与原始损失 L = -log(p_t) 相比,平滑损失发生了关键变化:

  • 目标项权重降低:p_t 前面的系数从1变成了 (1-ε+ε/K),略小于1。这意味着模型不再被强制要求将 p_t 推到无限接近1,p_t 达到 1-ε 左右就能很好地满足这一项。
  • 引入“负项”惩罚:所有非目标类别的预测概率 p_i (i≠t) 现在也进入了损失计算。因为 log(p_i) 是负数,前面乘以正的 ε/K,所以 - (ε/K)*log(p_i) 是正数。这项惩罚会阻止模型将非目标类别的概率压得过低。如果模型过于武断地将某个 p_i 设为接近0,其 log(p_i) 会趋向负无穷,导致这项损失急剧增大。

最终效果是,模型被训练得对自己的预测“不那么自信”。它学会为目标类别分配一个较高的概率(如0.9),同时允许非目标类别拥有一个小的、非零的概率(如0.05)。这听起来像是性能下降,但实际上,这种更保守、更平滑的概率输出往往与模型在测试集上的真实错误率更加匹配,即校准得更好。在集成、主动学习或风险敏感的部署中,这种经过良好校准的置信度是无价的。

3. 在PyTorch中实现标签平滑:两种方案深度对比与选择

理解了原理,我们来看实践。在PyTorch中实现标签平滑交叉熵损失,主要有两种思路:一种是基于混合加权公式的直接计算,另一种是利用 torch.clamp 的边界约束法。此外,现代PyTorch版本已经原生支持。我们来逐一剖析。

3.1 方案一:混合加权法(清晰直观)

这是最直接对应数学公式的实现方式。我们手动构造平滑后的标签分布,然后计算其与预测logits的交叉熵。

import torch
import torch.nn as nn
import torch.nn.functional as F

class LabelSmoothCELossV1(nn.Module):
    """
    标签平滑交叉熵损失 - 混合加权实现
    """
    def __init__(self, smoothing=0.1, num_classes=None):
        super().__init__()
        assert 0 <= smoothing < 1.0
        self.smoothing = smoothing
        self.num_classes = num_classes
        self.confidence = 1.0 - smoothing  # 对应公式中的 (1-ε)

    def forward(self, preds, targets):
        """
        Args:
            preds: [batch_size, num_classes] 模型输出的logits
            targets: [batch_size] 样本的类别索引
        """
        if self.num_classes is None:
            self.num_classes = preds.size(1)

        # 1. 将预测logits转换为对数概率 (log_softmax更数值稳定)
        log_probs = F.log_softmax(preds, dim=-1)  # shape: [batch, num_classes]

        # 2. 将目标索引转换为one-hot编码
        with torch.no_grad():
            true_dist = torch.zeros_like(log_probs)
            true_dist.scatter_(1, targets.unsqueeze(1), 1.0)  # shape: [batch, num_classes]

        # 3. 应用标签平滑:软标签 = 置信度 * one-hot + 平滑度 * 均匀分布
        smooth_dist = true_dist * self.confidence + (1 - true_dist) * (self.smoothing / (self.num_classes - 1))

        # 4. 计算平滑后的交叉熵损失
        loss_per_sample = -torch.sum(smooth_dist * log_probs, dim=-1)
        return loss_per_sample.mean()

代码解读与注意事项:

  • 第2步生成one-hot标签时,我们使用了 torch.no_grad() 包装,因为标签生成不应参与梯度计算。
  • 第3步是核心。true_dist * self.confidence 将目标类别的1降为 (1-ε)。(1 - true_dist) 得到一个“非目标类别”的掩码矩阵,将其乘以 ε/(K-1),就将平滑概率分配给了所有错误类别。
  • 注意分母是 (self.num_classes - 1) 而非 self.num_classes,因为我们是从 ε 的总概率中,将 ε/K 分给了目标类别,剩下的 ε - ε/K = ε*(K-1)/K 需要均分给 (K-1) 个非目标类别,所以每个非目标类别得到 [ε*(K-1)/K] / (K-1) = ε/K。而我们的 smooth_dist 中,目标类别已经是 (1-ε) + ε/K,非目标类别需要设为 ε/K。上面代码第3行的计算 (self.smoothing / (self.num_classes - 1)) 实际上得到的是 ε/(K-1),这与公式 ε/K 有细微差别。这是一个常见的实现偏差。更精确的写法应该是:
    smooth_dist = true_dist * self.confidence + (self.smoothing / self.num_classes)
    
    因为均匀分布 ε/K 是加给所有位置的,包括目标位置。我们接下来在方案二中会看到更准确的实现。

3.2 方案二:Clamp边界法(修正均匀分布)

这种方法更巧妙地利用了 torch.clamp 函数,直接对one-hot标签进行数值约束,从而得到符合原始公式的平滑标签。

class LabelSmoothCELossV2(nn.Module):
    """
    标签平滑交叉熵损失 - Clamp边界法实现 (更符合原始公式)
    """
    def __init__(self, smoothing=0.1, num_classes=None):
        super().__init__()
        self.smoothing = smoothing
        self.num_classes = num_classes

    def forward(self, preds, targets):
        if self.num_classes is None:
            self.num_classes = preds.size(1)

        log_probs = F.log_softmax(preds, dim=-1)

        with torch.no_grad():
            # 生成one-hot标签
            true_dist = torch.zeros_like(log_probs)
            true_dist.scatter_(1, targets.unsqueeze(1), 1.0)
            # 使用clamp进行标签平滑
            # 将one-hot标签中的1用 (1 - smoothing) 限制上限,将0用 smoothing/(num_classes) 限制下限
            smooth_dist = torch.clamp(true_dist,
                                      min=self.smoothing / self.num_classes,
                                      max=1.0 - self.smoothing)

        loss_per_sample = -torch.sum(smooth_dist * log_probs, dim=-1)
        return loss_per_sample.mean()

这个实现的精妙之处在于:

  • torch.clamp(input, min, max) 将输入张量 input 中的所有元素限制在 [min, max] 区间内。
  • 对于one-hot标签 true_dist,目标位置是1,其他位置是0。
  • 经过 clamp 后:
    • 目标位置的1被限制为最大值 1 - ε。
    • 其他位置的0被提升为最小值 ε / K。
  • 这恰好得到了我们想要的分布:目标类别概率为 1 - ε,其他每个类别概率为 ε / K。注意,所有类别的概率之和为 (1 - ε) + (K-1)*(ε/K) = 1,完全符合概率分布的定义。

两种方案对比:

对比项混合加权法 (V1)Clamp边界法 (V2)
数学对应对应分解公式 (1-ε)*onehot + ε*uniform直接对应原始定义公式
均匀分布施加对非目标类别施加 ε/(K-1)对所有类别施加 ε/K
概率和和为1 (正确)和为1 (正确)
目标类别概率(1-ε) + ε/K1 - ε
非目标类别概率ε/(K-1)ε/K
实现直观性非常直观,易于理解稍显巧妙,但代码简洁
推荐度理解原理用更推荐,更准确

虽然两种方法产生的分布在数值上略有不同(目标类别差 ε/K,非目标类别差 ε/(K*(K-1))),但当 ε 较小(如0.1)且 K 较大时,差异微乎其微,对训练结果的影响通常可以忽略。但从严格遵循原始论文定义的角度,Clamp边界法 (V2) 是更准确的实现。

3.3 方案三:使用PyTorch原生支持(最省心)

从PyTorch 1.10版本开始,torch.nn.CrossEntropyLoss 和 torch.nn.functional.cross_entropy 都直接内置了 label_smoothing 参数。这是最简单、最不容易出错的方式。

import torch.nn as nn

# 方式1:使用损失函数类
criterion = nn.CrossEntropyLoss(label_smoothing=0.1)

# 在训练循环中直接使用
# logits = model(inputs)
# loss = criterion(logits, targets)

# 方式2:使用函数式接口
loss = nn.functional.cross_entropy(logits, targets, label_smoothing=0.1)

原生实现的优势:

  • 无需自己维护代码,避免实现错误。
  • 经过充分测试和优化,数值稳定性最好。
  • 与PyTorch生态无缝集成,例如与 torch.compile 兼容。

它的内部实现逻辑类似于我们上面的“混合加权法”,但可能做了更多的工程优化。对于绝大多数应用场景,强烈建议直接使用PyTorch原生接口。自己实现的主要价值在于教学和理解。

4. 实战:在文本分类任务中调优平滑系数ε

理论再好,也需要实战检验。我们设计一个简单的实验,来观察标签平滑系数 ε 如何影响一个文本分类模型的校准性和泛化能力。

实验设置:

  • 任务:基于IMDb电影评论的情感二分类(正面/负面)。
  • 模型:一个简单的LSTM模型或预训练BERT的微调(为了快速实验,这里用LSTM)。
  • 基线:标准交叉熵损失 (ε=0)。
  • 实验组:分别设置 ε = 0.05, 0.1, 0.2。
  • 评估指标:
    1. 测试准确率:常规指标。
    2. 预期校准误差(Expected Calibration Error, ECE):衡量模型置信度校准程度的核心指标。它将预测概率分桶,计算每个桶内平均置信度与准确率之间的绝对差值,再以样本数加权平均。ECE越低,说明模型越“诚实”。
    3. 最大预测概率的分布:观察模型输出概率的“尖锐”程度。

4.1 实验代码框架

以下是训练循环中集成标签平滑的关键部分:

import torch
from torch import nn, optim
from torch.nn import functional as F

# 假设我们有一个简单的文本分类模型
class TextClassifier(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True, bidirectional=True)
        self.fc = nn.Linear(hidden_dim * 2, num_classes) # 双向LSTM

    def forward(self, x):
        embeds = self.embedding(x)
        lstm_out, _ = self.lstm(embeds)
        # 取最后一个时间步的输出
        last_hidden = lstm_out[:, -1, :]
        logits = self.fc(last_hidden)
        return logits

# 训练函数片段
def train_epoch(model, dataloader, optimizer, criterion, device):
    model.train()
    total_loss = 0
    for batch in dataloader:
        inputs, labels = batch
        inputs, labels = inputs.to(device), labels.to(device)

        optimizer.zero_grad()
        logits = model(inputs)

        # 关键区别在这里:criterion是否包含label_smoothing
        loss = criterion(logits, labels)

        loss.backward()
        optimizer.step()
        total_loss += loss.item()
    return total_loss / len(dataloader)

# 主实验循环
smoothing_values = [0.0, 0.05, 0.1, 0.2]
results = {}

for eps in smoothing_values:
    print(f"\n=== 训练模型,标签平滑系数 ε = {eps} ===")
    model = TextClassifier(...).to(device)
    optimizer = optim.Adam(model.parameters(), lr=1e-3)
    # 使用PyTorch原生带平滑的损失函数
    criterion = nn.CrossEntropyLoss(label_smoothing=eps)

    # ... 进行多个epoch的训练 ...
    # trained_model = train(model, train_loader, val_loader, optimizer, criterion, epochs)

    # 在测试集上评估
    # test_acc, ece_score, prob_dist = evaluate_calibration(trained_model, test_loader)
    # results[eps] = {'acc': test_acc, 'ece': ece_score, 'probs': prob_dist}

4.2 结果分析与解读

假设我们完成了训练和评估,可能会得到类似下表的趋势性结果(具体数值因数据和模型而异):

平滑系数 (ε)测试准确率ECE (预期校准误差)预测概率>0.9的样本占比备注
0.0 (基线)92.5%0.08565%准确率最高,但校准差,过度自信严重
0.0592.3%0.04545%准确率轻微下降,校准显著改善
0.192.1%0.02830%准确率小降,校准达到最佳,推荐值
0.291.5%0.02515%校准继续改善,但准确率下降明显

深度解读:

  1. 准确率与校准的权衡:从基线(ε=0)到ε=0.1,我们看到测试准确率仅有非常轻微的下滑(例如0.4个百分点),但ECE却大幅降低了约67%。这是一个极其划算的“交易”——用几乎可以忽略的精度代价,换来了模型置信度可靠性的巨大提升。当ε增大到0.2时,准确率下降开始变得明显,说明过度的平滑可能损害了模型学习关键判别特征的能力。

  2. 概率分布的变化:“预测概率>0.9的样本占比”这个指标直观反映了模型的“自信”程度。基线模型有65%的样本以超过90%的置信度做出预测,这很可能是不现实的。随着ε增大,高置信度预测的比例迅速下降,模型输出的概率分布变得更加“平缓”和“保守”。

  3. ε=0.1的甜点效应:在大多数计算机视觉和自然语言处理任务中,ε=0.1被广泛验证为一个稳健的默认值。它能在不显著伤害准确率的前提下,最大程度地改善模型校准。这个值可以作为一个强大的默认超参数使用。

  4. 对泛化的真实帮助:标签平滑带来的不仅是更好的校准。在许多比赛中和我的项目经验里,尤其是在训练数据有限、存在噪声或类别不平衡时,加入适度的标签平滑(ε=0.05~0.1)常常能带来1-2个百分点的稳定提升。这是因为平滑作为一种正则化,有效抑制了模型对训练集特定噪声的过拟合,鼓励其学习更泛化的特征。

4.3 何时使用与注意事项

虽然标签平滑是一个低成本的技巧,但并非万能。根据经验:

  • 强烈推荐使用:
    • 当你的模型在验证集/测试集上表现明显差于训练集时。
    • 当任务对预测置信度的准确性有要求时(如医疗诊断、金融风控)。
    • 当训练数据标注噪声较大时。
    • 在知识蒸馏中,作为生成软标签的教师模型的一部分。
  • 可能需要谨慎或调整:
    • 当类别数非常少(如二分类)时,ε需要设置得更小,因为平滑的影响相对更大。
    • 当模型本身已经具有很强的正则化(如大量Dropout、强数据增强)时,其额外收益可能变小。
    • 在一些需要模型输出极端概率的特定应用中(尽管很少见)。

最后,别忘了将标签平滑与其他技术结合。它与 MixUp、CutMix 等数据增强方法,以及 Focal Loss(用于处理类别不平衡)在理念上是互补的,可以同时使用,从不同角度提升模型的鲁棒性和泛化能力。在实际的PyTorch项目中,我通常会在项目初始化时,就顺手给CrossEntropyLoss加上 label_smoothing=0.1 这个参数,它几乎成了我训练分类模型的一个标准起手式。

别让模型太自信:用Temperature Scaling校准PyTorch分类模型的置信度(附代码) 本文详细介绍了如何使用Temperature Scaling技术校准PyTorch分类模型的置信度,解决模型过度自信的问题。通过代码示例和效果对比,展示了该方法在医疗诊断、金融风控等关键场景中的实际应用价值,显著提升模型预测的可信度。 阅读详情

相关推荐

别再只用CrossEntropyLoss了!PyTorch实战:用Label Smoothing提升你的分类模型泛化能力(附代码避坑)

本文深入探讨了PyTorch中Label Smoothing技术在分类模型中的应用,通过对比三种实现方式(手动平滑、封装损失、动态策略)和详细调参指南,帮助开发者有效提升模型泛化能力。文章结合CIFAR-10实战案例,展示了如何通过标签平滑技术减少过拟合,特别适合处理标注噪声和类别相似性高的场景。

weixin_30781433的博客 427

论文精读:突破大模型推理瓶颈:为什么“限制自信”反而能让 AI 更聪明?

从行业影响力的“隐性评级”来看,它的价值甚至超出了普通的顶会论文。 自 OpenAI o1 模型发布以来,AI 行业的焦点已经从“把模型做大(训练期计算)”彻底转向了“让模型多想一会儿(测试期计算/Test-Time Compute)”。这篇论文正是世界上最早一批从底层理论(交叉熵损失)出发,系统性揭示传统微调如何阻碍测试期计算,并给出漂亮数学解法(限制置信度)的先驱性研究。它补足了目前 AI 业界在“训练阶段”与“推理阶段”协同设计(Co-design)上的理论空白,是当前大模型“慢思考”演进路径

AggressiveYu的博客 483

别再只用CrossEntropyLoss了!PyTorch实战Label Smoothing,让你的分类模型涨点更稳(附代码避坑)

本文详细介绍了PyTorch中标签平滑(Label Smoothing)技术的实战应用,帮助解决分类模型过度自信的问题。通过代码示例和CIFAR-10实验对比,展示了标签平滑在提升模型准确率、校准度和鲁棒性方面的显著效果,并提供了参数选择、常见陷阱及解决方案等实用技巧。

weixin_30892763的博客 484

深度学习项目训练环境损失函数:支持CrossEntropy/FocalLoss/LabelSmoothing灵活切换

本文介绍了如何在星图GPU平台上自动化部署深度学习项目训练环境镜像,实现CrossEntropy、FocalLoss和LabelSmoothing等损失函数的灵活切换。该环境支持图像分类等深度学习任务,特别适用于处理类别不平衡数据和提升模型泛化能力,帮助开发者快速进行模型训练与效果对比。

weixin_42360846的博客 40

计算机视觉数据增强与模型训练优化实战

数据增强是提升计算机视觉模型泛化能力的关键技术,其核心原理是通过对训练样本进行有控制的变换,模拟现实世界的数据多样性。从基础的几何变换(如随机裁剪、翻转)到高级的样本混合技术(如Mixup、Cutmix),这些方法能有效扩展训练数据的覆盖范围。在工程实践中,自动化增强策略(如RandAugment)与正则化技术(如LabelSmoothing)的组合使用,可以在不增加模型复杂度的情况下显著提升性能。这些技术特别适用于ImageNet等大规模视觉分类任务,能帮助ResNet等基础模型获得3-5%的准确率提升。

clt3617的博客 393

Label Smoothing介绍及其代码实现

标签平滑(Label Smoothing)的原理其实很简单,它大部分的用处用一句话总结就是: >修改数据集的标签来增加扰动,避免模型的判断过于自信从而陷入过拟合

JacksonKim的博客 2277

标签平滑Label Smoothing

标签平滑Label Smoothing前言Label Smoothing代码实现后续相关 前言 对于分类问题,lable常常是one-hot编码的,即[0,0,1,0,0]形式。全概率1和0鼓励所属类别和其他类别之间的差距尽可能加大,然而,在分类问题中不同种类的类别不一定完全没有相似的特征,不能这样一杆子打死。 对于我们常用的交叉熵损失函数,我们需要用预测分布q去拟合真实分布p,现在我们来看一下拟合one-hot的分布所带来的问题: 1)例如,输出为[0.1,0.7,0.1,0.1],由于要使得Loss尽

qq_41917697的博客 1723

深度学习中小知识点系列(十) 解析标签平滑(Label Smoothing)

标签平滑也可以称之为标签平滑归一化:Label Smoothing Regularization (LSR),通常应用于文本分类任务,像L2和 dropout 等一样,它是一种正则化的方法,只不过这种方法是通过在 label 中添加噪声,从而实现对模型的约束。目的是防止模型在训练时过于自信地预测标签,防止过拟合,提高模型的泛化能力。有关标签可以参考如下论文(

专注于人工智能学习,总结 1485

计算机视觉数据增强与训练技巧实战指南

数据增强是计算机视觉中提升模型泛化能力的关键技术,其核心原理是通过对训练数据进行多样化变换,模拟现实世界的复杂场景。从基础的几何变换(如RandomResizedCrop)到高级样本混合技术(如Mixup/Cutmix),这些方法能有效扩展数据分布的覆盖范围。在工程实践中,合理组合RandomErasing等遮挡模拟技术,配合LabelSmoothing等标签优化策略,可使ResNet等主流模型在ImageNet等基准上获得3-5%的显著提升。尤其在工业级应用中,针对细粒度分类或医疗影像等特殊场景,调整Ra

weixin_33907511的博客 553

Label SMOOTHING

Label Smoothing(标签平滑)是一种正则化技术,主要用于分类任务中,通过调整目标标签的分布来防止模型过度自信(overconfidence),从而提高模型的泛化能力。Label Smoothing 通过将 one-hot 编码的标签“平滑”为一个更软的分布,例如 [0.1, 0.1, 0.8],从而减少模型对某一类别的过度自信。Label Smoothing 通过调整目标标签的分布,防止模型过度自信。防止过拟合:减少模型对训练数据的过度自信,提高泛化能力。提高鲁棒性:使模型对噪声标签更加鲁棒。

weixin_39107270的博客 306

[pytorch] 图像识别之label smoothing (+mixup/cutmix)

本人kaggle分享链接:https://www.kaggle.com/c/bengaliai-cv19/discussion/128115 def onehot_encoding(label, n_classes): return torch.zeros(label.size(0), n_classes).to(label.device).scatter_( 1...

MachineLP的专栏 2007

PyTorch图像分类工业落地实战:数据流、内存与评估的工程闭环

图像分类是计算机视觉最基础且高频的应用场景,其核心依赖卷积神经网络(CNN)对局部特征的层次化提取能力。在PyTorch框架下,真正决定项目成败的并非模型结构本身,而是数据加载、梯度生命周期管理与鲁棒性评估构成的工程闭环。真实业务中,RAW图像标定、DataLoader多进程内存复制、验证集分布偏移等细节,常导致训练指标虚高而线上效果崩塌。本文聚焦PyTorch图像分类的生产就绪路径,深入解析MobileNetV3-Small等轻量骨干网在小样本场景下的泛化优势,并系统揭示Normalize参数定制、Gra

aome1470的博客 368

从零搭建宝兰德BES单机版:分离式安装、环境变量配置到控制台访问的避坑指南

本文详细介绍了从零搭建宝兰德BES单机版的完整流程,包括分离式安装、环境变量配置和控制台访问的避坑指南。针对中间件安装部署中的常见问题,提供了账号规划、JDK配置、实例创建和防火墙设置等实用解决方案,帮助开发者和运维人员高效完成BES中间件的部署工作。

weixin_32576389的博客 375

label-smoothing标签平滑__pytorch版实现

标签平滑(label-smoothing)主要用于防止过拟合,增强模型的泛化能力。在one-hot的基础上,添加一个平滑系数ε\varepsilonε,使得最大预测与其它类别平均值之间差距的经验分布更加平滑。 Pytorch代码实现 import torch def smooth_one_hot(true_labels: torch.Tensor, classes: int, smoothing=0.0): """ if smoothing == 0, it's one-hot meth

sinat_38685124的博客 6161

销售预测的方法与模型(三)丨安全库存与再订货(补货)

较高的 Z 值对应较高的服务水平(例如,服务水平 99% 对应 Z 值 2.33),意味着企业希望更低的缺货风险,因此需要更高的安全库存。在再订货点的管理中,考虑到供应商交货的不确定性,通常需要结合安全库存,以防止在交货期间库存用尽。要对L开根号,根号L表示交货周期越长,企业需要的安全库存越多,因为在较长的供应期内,需求波动的累积效应更明显。举例:供应商的交期服从标准差为2件/天的正态分布,顾客需求为50件/天的正态分布,若要客户服务水平达到 90%,安全库存量应该是多少?下面介绍几种核心的模型与公式。

weixin_45675709的博客 1537

【编译原理】LL(1)分析方法 生成语法树(c++实现)

基本流程 输入文法->消除左递归->提取左公共因子->求FIRST集->求FOLLOW集->LL(1)分析表->表驱动的预测语法分析过程->输出语法分析结果和语法树

qq_43417265的博客 1万+

损失函数:交叉熵 & Label Smoothing标签平滑

参考: (23条消息) Label Smoothing标签平滑详解+Pytorch保姆级实际操作_狗狗狗大王的博客-优快云博客_标签平滑参数https://blog.youkuaiyun.com/weixin_41811314/article/details/115863126 (22条消息) Pytorch:交叉熵损失(CrossEntropyLoss)以及标签平滑(LabelSmoothing)的实现_我是大黄同学呀的博客-优快云博客_标签平滑交叉熵https://blog.youkuaiyun.com/qq_3656

满腹的小不甘 2571

点云数据增强及预处理

数据增强: 1. random world flip:沿着x或者y轴,翻转点云 点云的x或者y,要翻转 3d box中心的x或者y,要翻转 3d box的朝向要翻转 point segmentation label,点云的相对顺序没有发生变化 2. random_world_rotation:沿着点云原点,旋转点云 点,x,y,绕z轴旋转 3d box,绕z轴旋转,中心和朝向都要变化 point segmentation label,点云的相对顺序没有发生变化 3. random_world_scaling

huang_victor的博客 4011

标签平滑实战 mnist手写字体识别

全部代码如下 # https://blog.youkuaiyun.com/qq_42325947/article/details/108318673 # mnist import torch import torchvision import torch.nn as nn import torch.nn.functional as F from torch import optim from matpl...

weixin_46854356的博客 137

DeepSeek Harness 实战:构建可编排的 Agent 插件与工作流

在大模型应用开发中,AI Agent 的落地常面临逻辑耦合、工具接入繁琐、流程难以编排等工程化痛点。DeepSeek Harness 作为一种面向 Agent 运行时的开发层,将模型调用、插件扩展、工作流编排与执行状态统一收敛,为开发者提供可维护、可观测的控制框架。它并非替代 LangChain 或 Dify,而是更聚焦于模型为核心的应用组装范式:插件承载可复用的能力单元,工作流定义节点间的条件跳转与数据传递,从而让复杂业务既能可视化设计,又能通过代码深度定制。从客服知识库到 PRD 评审助手,这类模式适用

weixin_33805743的博客 336

系统安装、qt配置、安装pcie驱动

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 安装Linux系统指定:ununtu20.04并配置相关软件环境 前言 提示:这里可以添加本文要记录的大概内容: ununtu20.04、Qt 5.9.0、pcie驱动 提示:以下是本篇文章正文内容,下面案例可供参考 一、安装系统 制作系统盘(win10),在开机时按相应键进入BIOS,(华硕需要先改配置启动->CSM->开启->第一个选项选第一个或第二个),等待即可 进入后按照https://www.sysgeek.

weixin_44832804的博客 2207

【亲测免费】 推荐开源项目:OpenASR——基于PyTorch的端到端语音识别系统

推荐开源项目:OpenASR——基于PyTorch的端到端语音识别系统 项目介绍 OpenASR 是一个基于 PyTorch 框架的端到端语音识别系统,主要采用了 Speech-Transformer 架构。该项目旨在提供一套简单易用、性能优良的语音识别解决方案,适用于各种研究和应用场景。 项目技术分析 核心技术 Speech-Transformer:作为项目的主要架构,Speech-Trans...

gitblog_00056的博客 1715

用Arduino和MAX30102做个心率血氧仪,从硬件连线到算法调试全流程避坑

本文详细介绍了如何使用Arduino和MAX30102传感器构建高精度心率血氧仪,涵盖硬件连线、软件配置、信号处理及算法优化全流程。通过实战案例和避坑指南,帮助开发者快速实现临床级精度的健康监测设备,适用于可穿戴设备和医疗健康领域。

weixin_26897585的博客 388

别再只跑通MNIST了!用PyTorch手写BP网络,我踩过的3个坑和调优技巧

本文深入探讨了如何突破MNIST数据集上BP网络的准确率瓶颈,分享了5个高阶调参策略。从隐藏层设计、动态学习率策略到损失函数选择和数据增强技巧,帮助开发者优化PyTorch实现的BP网络,实现从98%到99%以上的准确率飞跃。

weixin_29224589的博客 206

EMI硬件抑制八项工程对策:从回路面积到谐振规避

电磁干扰(EMI)是电子系统可靠性与EMC合规性的核心挑战,其本质源于高频电流回路产生的辐射与耦合效应。理解回路面积、共模/差模噪声、阻抗匹配等基础原理,是实施有效抑制的前提。技术价值体现在降低辐射发射(RE)、传导发射(CE)超标风险,提升产品一次通过率与长期稳定性。典型应用场景包括开关电源设计、高速数字接口布局、工业嵌入式设备及医疗电子等对EMC要求严苛的领域。本文聚焦可落地的硬件级对策,涵盖回路面积控制、屏蔽策略、变压器漏磁管理、双线传输与阻抗匹配等关键实践,深度融合电流回路物理模型与PCB工程实现。

weixin_35019679的博客 86

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

上一篇: 深入解析AXI DMA中断报错机制与调试技巧
下一篇: ROS多机器人仿真实战:从launch文件修改到键盘控制优化
Python
博客等级 码龄26年 1973粉丝 1567原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值