整理：熵、KL散度、交叉熵、nn.CrossEntropyLoss()、nn.LogSoftmax()、nn.NLLLoss()

最新推荐文章于 2025-03-27 20:29:28 发布
原创 最新推荐文章于 2025-03-27 20:29:28 发布 · 1k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨信息量、熵、相对熵（KL散度）和交叉熵的概念，并结合PyTorch库，详细阐述nn.CrossEntropyLoss()、nn.LogSoftmax()和nn.NLLLoss()的使用方法与计算过程，通过实例验证加深理解。

一、信息量、熵、相对熵（KL散度）、交叉熵

二、Softmax 与 交叉熵

三、pytorch中的交叉熵损失 nn.CrossEntropyLoss()

四、pytorch中的LogSoftmax()与nn.NLLLoss()

五、扩展nn.NLLoss()的计算

一、信息量、熵、相对熵（KL散度）、交叉熵

讲解逻辑：

最低0.47元/天 解锁文章
深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 1322
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
【Pytorch实用教程】nn.LogSoftmax的详细用法及公式
若北辰
08-06 1156
PyTorch 中的一个层，用于在对数空间中计算 Softmax 激活函数。它通常用于多类别分类任务中，以提高数值稳定性。其输入是 logits，即未归一化的得分，输出是这些得分在对数空间中的 Softmax。
KL散度损失函数
m0_53444618的博客
11-21 1万+
2021SC@SDUSC
pytorch nn.LogSoftmax
Claroja
09-01 5468
应用 # softmax层 # m = nn.Softmax(dim=1) # input = torch.randn(2, 3) # output = m(input) m = nn.LogSoftmax() input = torch.randn(2, 3) output = m(input) import torch input=torch.randn(2,1) input soft = torch.nn.Softmax(dim=0) logsoft = torch.nn.LogSoftmax(d
softmax交叉熵的两种形式 + numpy 实现
ytusdc的博客
08-19 4555
- 卷积底层的实现方式(如caffe里面的img2col) - 卷积、Max Pooling和 Average Pooling 代码实现 - 手撕 IoU, NMS, 及其变体 SoftNMS代码, - Soft nms 解决了什么问题。soft nms的具体过程
probability，odds，logit, softmax, logSoftmax，交叉熵
Hello Word!
04-26 920
probability：事件发生的概率 odds: 事件发生的概率和不发生的概率之比 p/(1-p) logit：odds 的对数 log[p/(1-p)] https://zhuanlan.zhihu.com/p/27188729
CrossEntropyLoss函数，里面还包含了nn.LogSoftmax函数和nn.NLLLoss函数
zz2230633069的博客
05-24 2570
对于单样本：其中lable是一个数字（最小为0最大为C-1）代表x属于哪一类，y是lable的one hot 编码。 举例：x是一个4分类的一个样本: x=[1, 33.1, 77.02, 3.78]，label=2，y=[0,0,1,0]，这里C=4 对于多样本： 举例：X=[ [1, 2.22, 3.35, 4], [5, 6, 7.2, 8] ]，target=[1,0]，Y=[ ...
（一文理解）信息量、熵、KL散度、交叉熵及CrossEntropyLoss
这个函数可导的博客
03-26 1301
本文首先重温了一些常见的对数函数运算法则，接着介绍了什么是信息量和熵，然后通过KL散度推出交叉熵损失函数的表达式，最后详解PyTorch常用的交叉熵损失函数CrossEntropyLoss()并进行代码实现。
一篇文章彻底搞懂熵、信息熵、KL散度、交叉熵、Softmax和交叉熵损失函数
m0_62881487的博客
09-26 1万+
1. 熵是一个物理学概念，它表示一个系统的不确定性程度，或者说是一个系统的混乱程度。2. 信息熵：一个叫香农的美国数学家将熵引入信息论中，用来衡量信息的不确定性，并将它命名为 “香农熵” 或者 “信息熵”。
KLD Loss（ tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div） 计算技巧(一)
Forrest97的博客
11-09 4892
最近在比较不同模型的性能，发现虽然文献中使用的相同的指标，比如KLD。但是数据的处理方式却存在着差异，这会导致最后的数据并不具有直接可比性。 这里记录下，其中的一些值得记住的细节。主要涉及的API包括tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div 文章目录二维数据输入数据前处理tf.nn.softmaxtorch.nn.functional.softmaxkld 散度计算tensorflowpytorch完整代码 二维数据输入
损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）
weixin_50752408的博客
03-15 2万+
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数，可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中，KL散度常常用于衡量两个概率分布之间的差异程度，例如在生成模型中使用 KL散度作为损失函数的一部分，或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是，KL散度的计算要求 P 和 Q 的元素都为正数，因此需要在计算前对两个概率分布进行归一化处理，使其元素和为 1。
KL散度、交叉熵损失函数、nn.CrossEntropyLoss()
Drug discovery
03-28 1万+
https://blog.csdn.net/b1055077005/article/details/100152102 https://blog.csdn.net/tsyccnh/article/details/79163834
nn.Softmax()与nn.LogSoftmax()
热门推荐
geter_CS的博客
09-28 3万+
nn.Softmax()计算出来的值，其和为1，也就是输出的是概率分布，具体公式如下： 这保证输出值都大于0，在0,1范围内。 而nn.LogSoftmax()公式如下： 由于softmax输出都是0-1之间的，因此logsofmax输出的是小于0的数，   softmax求导： logsofmax求导： 例子： import torch.nn as nn imp...
【NLP 50、损失函数 KL散度】
m0_73983707的博客
03-27 1488
KL散度（相对熵）是衡量两个概率分布 P 和 Q 之间差异的非对称性指标。它量化了当用分布 Q 近似真实分布 P 时的信息损失，即P和Q的顺序不能交换，当且仅当P = Q时取等号。
理解「交叉熵」损失函数（包含自信息、信息熵、KL散度、交叉熵概念整理）
人工智能算法与工程实践
10-09 6622
KL散度、交叉熵可以用于衡量模型的“损失”。要深入理解KL散度和交叉熵，首先要从信息论中的基础概念入手。
交叉熵损失和KL散度损失
karmueo46的博客
11-20 1495
交叉熵损失和KL散度损失是常用的衡量两个概率分布之间差异的方法，在神经网络训练中，常用如分类问题和生成模型中。例如，交叉熵常用于分类问题KL散度常用于变分自编码器(VAE)中来衡量近似后验分布和真实后验分布的差异。实际使用时经常忘记这两个概念，下面把这两个概念记录下来以提高记忆点。交叉熵用于直接计算真实分布和预测分布之间的差异。比如。
损失函数--KL散度与交叉熵
Ambrosedream的博客
12-04 5944
损失函数 ​ 在逻辑回归建立过程中，我们需要一个关于模型参数的可导函数，并且它能够以某种方式衡量模型的效果。这种函数称为损失函数（loss function)。 ​ 损失函数越小，则模型的预测效果越优。所以我们可以把训练模型问题转化为最小化损失函数的问题。 ​ 损失函数有多种，此次介绍分类问题最常用的交叉熵（cross entropy)损失,并从信息论和贝叶斯两种视角阐释交叉熵损失的内涵。 ...
Pytorch中KL loss
flyingluohaipeng的博客
11-26 4860
第三个参数reduction有三种取值，为 none 时，各点的损失单独计算，输出损失与输入（x）形状相同；为 mean 时，输出为所有损失的平均值；为 sum 时，输出为所有损失的总和。
探索KL散度损失函数：一个深度学习中的关键工具
gitblog_00089的博客
04-13 1841
探索KL散度损失函数：一个深度学习中的关键工具 在机器学习和深度学习领域中，损失函数的选择是模型优化的关键。是一个由yihui-he开发的项目，它关注的是Kullback-Leibler（KL）散度作为损失函数的应用。本文将介绍KL-Loss的基本概念、技术实现、应用场景及特性，帮助开发者更好地理解和利用这一工具。 什么是KL散度损失？ KL散度是一种衡量两个概率分布之间差异的方法，常用于信息论和...
注意，LLM原本的损失为loss_fct = torch.nn.CrossEntropyLoss(label_smoothing=0.01)，随后直接得到loss = loss_fct(pred, target)，请给出这个loss_fct的详细计算步骤
最新发布
10-31
<think>我们被要求详细解释`torch.nn.CrossEntropyLoss(label_smoothing=0.01)`的计算步骤。根据引用[1]和引用[3]，我们知道这个损失函数在PyTorch中实现了标签平滑（label smoothing）的交叉熵损失。 ### 交叉熵损失基础 标准的交叉熵损失（没有标签平滑）计算如下： 对于一个样本，假设我们有$C$个类别，模型的输出为$\mathbf{z} = (z_1, z_2, \dots, z_C)$（这些是未归一化的分数，即logits），并且真实的标签用独热编码（one-hot）表示为$\mathbf{y} = (y_1, y_2, \dots, y_C)$，其中$y_i$为1当$i$是真实类别，否则为0。 然后，我们首先将logits通过softmax函数转换为概率分布： $$\mathbf{p}_i = \frac{\exp(z_i)}{\sum_{j=1}^{C} \exp(z_j)} \quad \text{for } i=1,\dots,C$$ 交叉熵损失计算为： $$\mathcal{L} = -\sum_{i=1}^{C} y_i \log(\mathbf{p}_i)$$ ### 标签平滑的交叉熵损失 标签平滑（label smoothing）是一种正则化技术，用于防止模型对真实标签过度自信。在标签平滑中，我们不再使用硬标签（hard label，即0和1），而是将真实标签的概率分布调整为平滑后的版本。 具体来说，给定一个平滑参数$\epsilon$（在您的例子中为0.01），真实标签分布$\mathbf{y}$被调整为： $$\mathbf{y}^{\text{smooth}}_i = \begin{cases} 1 - \epsilon + \frac{\epsilon}{C} & \text{如果 } i \text{ 是真实类别} \\ \frac{\epsilon}{C} & \text{其他类别} \end{cases}$$ 这样，真实类别对应的概率被稍微降低，而非真实类别的概率被赋予一个很小的值。 因此，平滑后的损失函数变为： $$\mathcal{L}_{\text{smooth}} = -\sum_{i=1}^{C} \mathbf{y}^{\text{smooth}}_i \log(\mathbf{p}_i)$$ ### 使用`nn.CrossEntropyLoss`的步骤 当我们在PyTorch中使用`nn.CrossEntropyLoss(label_smoothing=0.01)`时，计算步骤如下： 1. **输入**: - 模型的输出：形状为$(N, C)$的logits张量（其中$N$是批量大小，$C$是类别数）。注意：该函数内部会自动对logits进行softmax操作，因此不需要提前做softmax。 - 真实标签：形状为$(N)$或$(N, d_1, d_2, ..., d_K)$的张量（对于$K$维损失）。每个元素是类别索引（在0到$C-1$之间），而不是独热编码。 2. **标签平滑处理**: - 将真实标签（整数形式）转换为平滑后的概率分布。例如，假设一个样本的真实标签为$k$（类别索引），则创建一个长度为$C$的向量，其中： - 位置$k$的值：$1 - \epsilon + \frac{\epsilon}{C}$ - 其他位置的值：$\frac{\epsilon}{C}$ 3. **计算交叉熵损失**: - 对每个样本，计算平滑后的标签分布$\mathbf{y}^{\text{smooth}}$与模型预测的概率分布$\mathbf{p}$（由logits经过softmax得到）之间的交叉熵。 - 然后根据设置的`reduction`参数（默认为`'mean'`）进行归约：将所有样本的损失求平均（mean）或求和（sum）等。 ### 示例 假设我们有一个二分类问题（$C=2$），一个样本的真实标签为0（即第一个类别），且$\epsilon=0.01$。 平滑后的标签分布为： - 类别0：$1 - 0.01 + 0.01/2 = 0.995$ - 类别1：$0.01/2 = 0.005$ 假设模型输出的logits为$[2.0, 1.0]$（即类别0的分数为2.0，类别1的分数为1.0）。首先计算softmax： - $\mathbf{p}_0 = \frac{\exp(2.0)}{\exp(2.0)+\exp(1.0)} \approx \frac{7.389}{7.389+2.718} \approx 0.731$ - $\mathbf{p}_1 = \frac{\exp(1.0)}{\exp(2.0)+\exp(1.0)} \approx 0.269$ 则交叉熵损失为： $$\mathcal{L}_{\text{smooth}} = - \left( 0.995 \times \log(0.731) + 0.005 \times \log(0.269) \right) \approx - \left( 0.995 \times (-0.313) + 0.005 \times (-1.313) \right) \approx 0.314$$ ### 注意事项 - 在PyTorch中，我们不需要手动将标签转换为独热编码，损失函数内部会自动处理。 - 参数`label_smoothing`的取值范围是$[0, 1]$。 - 标签平滑通常用于分类问题，特别是当训练数据存在噪声或类别标签可能存在错误时，它有助于提高模型的泛化能力[^3]。 ### 代码示例 以下是一个使用`torch.nn.CrossEntropyLoss`并设置标签平滑的简单代码示例： ```python import torch import torch.nn as nn # 设置标签平滑 epsilon = 0.01 loss_fn = nn.CrossEntropyLoss(label_smoothing=epsilon, reduction='mean') # 模拟数据：假设batch_size=2, 类别数=3 logits = torch.tensor([[1.2, 0.5, -0.1], [0.3, 2.1, -0.5]]) # 模型输出 (2, 3) targets = torch.tensor([0, 2]) # 真实类别索引 # 计算损失 loss = loss_fn(logits, targets) print(loss) ``` 在内部，对于第一个样本（真实标签0），平滑后的标签分布为： $$[1-\epsilon + \epsilon/3, \epsilon/3, \epsilon/3] = [0.99, 0.00333, 0.00333]$$ 然后计算该分布与softmax(logits)之间的交叉熵，第二个样本同理，最后根据`reduction`归约。 §§相关问题§§ 1. 标签平滑对模型训练有什么实际影响？ 2. 在哪些任务中推荐使用标签平滑？ 3. 除了标签平滑，还有哪些方法可以防止模型过度自信？ </think>### 使用 `torch.nn.CrossEntropyLoss(label_smoothing=0.01)` 的详细计算步骤 `torch.nn.CrossEntropyLoss` 结合标签平滑（label smoothing）时，损失计算分为以下步骤： --- #### **1. 输入准备** - **模型输出（logits）**：形状为 `(N, C)` 的张量 - `N`：批量大小（batch size） - `C`：类别数量 - 例如：`logits = torch.tensor([[2.0, -1.0, 0.5]])`（1个样本，3个类别） - **真实标签（labels）**：形状为 `(N)` 的类别索引张量 - 例如：`labels = torch.tensor([0])`（真实类别为第0类） --- #### **2. 标签平滑处理** 标签平滑通过参数 `label_smoothing=ϵ`（此处 `ϵ=0.01`）修改真实标签的分布： - **平滑前**：真实标签为独热编码（one-hot），如 `[1.0, 0.0, 0.0]` - **平滑后**： - 真实类别的概率调整为 `1 - ϵ + ϵ/C` - 其他类别的概率调整为 `ϵ/C` - 公式： $$ \text{smoothed_label}[i] = \begin{cases} 1 - \epsilon + \frac{\epsilon}{C} & \text{if } i = \text{真实类别} \\ \frac{\epsilon}{C} & \text{otherwise} \end{cases} $$ **示例计算**（`C=3`, `ϵ=0.01`）： - 原始标签：`[1.0, 0.0, 0.0]` - 平滑后： - 真实类别（第0类）：`1 - 0.01 + 0.01/3 ≈ 0.9933` - 其他类别：`0.01/3 ≈ 0.0033` - 最终标签：`[0.9933, 0.0033, 0.0033]` --- #### **3. Softmax 概率转换** 对模型输出的 logits 应用 Softmax 函数，转换为概率分布： $$ \text{softmax}(z_i) = \frac{\exp(z_i)}{\sum_{j=1}^{C} \exp(z_j)} $$ **示例计算**（logits = `[2.0, -1.0, 0.5]`）： - 概率计算： $$ \begin{align*} p_0 &= \exp(2.0) / (\exp(2.0) + \exp(-1.0) + \exp(0.5)) ≈ 0.728 \\ p_1 &= \exp(-1.0) / (\cdots) ≈ 0.040 \\ p_2 &= \exp(0.5) / (\cdots) ≈ 0.232 \end{align*} $$ - 概率分布：`[0.728, 0.040, 0.232]` --- #### **4. 交叉熵损失计算** 使用平滑后的标签 `q` 和 Softmax 概率 `p` 计算交叉熵： $$ \text{Loss} = -\sum_{i=1}^{C} q_i \log(p_i) $$ **示例计算**： - 平滑标签 `q = [0.9933, 0.0033, 0.0033]` - 预测概率 `p = [0.728, 0.040, 0.232]` - 损失： $$ \begin{align*} \text{Loss} &= - \left( 0.9933 \times \log(0.728) + 0.0033 \times \log(0.040) + 0.0033 \times \log(0.232) \right) \\ &\approx - \left( 0.9933 \times (-0.317) + 0.0033 \times (-3.218) + 0.0033 \times (-1.461) \right) \\ &\approx 0.328 \end{align*} $$ --- #### **5. 批量归约（Reduction）** 默认 `reduction='mean'`，计算批次中所有样本损失的平均值： - 若批次有多个样本，先对每个样本独立计算损失，再求平均。 --- #### **PyTorch 代码验证** ```python import torch import torch.nn as nn # 输入数据 logits = torch.tensor([[2.0, -1.0, 0.5]]) # 模型输出 (logits) labels = torch.tensor([0]) # 真实标签 (类别索引) # 定义损失函数（标签平滑=0.01） loss_fn = nn.CrossEntropyLoss(label_smoothing=0.01) # 计算损失 loss = loss_fn(logits, labels) print(loss) # 输出: tensor(0.3285) ``` --- ### **关键点总结** 1. **标签平滑作用**：防止模型对真实标签过度自信，提升泛化能力[^3]。 2. **概率调整**：真实类别概率从 `1.0` 降低至 `1-ϵ+ϵ/C`，其余类别从 `0.0` 提升至 `ϵ/C`。 3. **数学本质**：最小化平滑标签分布与预测分布的 KL 散度（KL-divergence）。 4. **适用场景**：分类任务中数据存在噪声或需正则化的场景[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值