整理：熵、KL散度、交叉熵、nn.CrossEntropyLoss()、nn.LogSoftmax()、nn.NLLLoss()

最新推荐文章于 2025-03-27 20:29:28 发布
最新推荐文章于 2025-03-27 20:29:28 发布
阅读量1k 收藏 13
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 11 Python/DL/ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pengchengliu/article/details/112529197
本文深入探讨信息量、熵、相对熵（KL散度）和交叉熵的概念，并结合PyTorch库，详细阐述nn.CrossEntropyLoss()、nn.LogSoftmax()和nn.NLLLoss()的使用方法与计算过程，通过实例验证加深理解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、信息量、熵、相对熵（KL散度）、交叉熵

二、Softmax 与 交叉熵

三、pytorch中的交叉熵损失 nn.CrossEntropyLoss()

四、pytorch中的LogSoftmax()与nn.NLLLoss()

五、扩展nn.NLLoss()的计算

一、信息量、熵、相对熵（KL散度）、交叉熵

讲解逻辑：

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Pytorch实用教程】nn.LogSoftmax的详细用法及公式
若北辰
08-06 1014
PyTorch 中的一个层，用于在对数空间中计算 Softmax 激活函数。它通常用于多类别分类任务中，以提高数值稳定性。其输入是 logits，即未归一化的得分，输出是这些得分在对数空间中的 Softmax。
深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 1115
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
KL散度损失函数
m0_53444618的博客
11-21 1万+
2021SC@SDUSC
pytorch nn.LogSoftmax
Claroja
09-01 5424
应用 # softmax层 # m = nn.Softmax(dim=1) # input = torch.randn(2, 3) # output = m(input) m = nn.LogSoftmax() input = torch.randn(2, 3) output = m(input) import torch input=torch.randn(2,1) input soft = torch.nn.Softmax(dim=0) logsoft = torch.nn.LogSoftmax(d
probability，odds，logit, softmax, logSoftmax，交叉熵
Hello Word!
04-26 871
probability：事件发生的概率 odds: 事件发生的概率和不发生的概率之比 p/(1-p) logit：odds 的对数 log[p/(1-p)] https://zhuanlan.zhihu.com/p/27188729
CrossEntropyLoss函数，里面还包含了nn.LogSoftmax函数和nn.NLLLoss函数
zz2230633069的博客
05-24 2541
对于单样本：其中lable是一个数字（最小为0最大为C-1）代表x属于哪一类，y是lable的one hot 编码。 举例：x是一个4分类的一个样本: x=[1, 33.1, 77.02, 3.78]，label=2，y=[0,0,1,0]，这里C=4 对于多样本： 举例：X=[ [1, 2.22, 3.35, 4], [5, 6, 7.2, 8] ]，target=[1,0]，Y=[ ...
（一文理解）信息量、熵、KL散度、交叉熵及CrossEntropyLoss
这个函数可导的博客
03-26 1107
本文首先重温了一些常见的对数函数运算法则，接着介绍了什么是信息量和熵，然后通过KL散度推出交叉熵损失函数的表达式，最后详解PyTorch常用的交叉熵损失函数CrossEntropyLoss()并进行代码实现。
KLD Loss（ tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div） 计算技巧(一)
Forrest97的博客
11-09 4816
最近在比较不同模型的性能，发现虽然文献中使用的相同的指标，比如KLD。但是数据的处理方式却存在着差异，这会导致最后的数据并不具有直接可比性。 这里记录下，其中的一些值得记住的细节。主要涉及的API包括tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div 文章目录二维数据输入数据前处理tf.nn.softmaxtorch.nn.functional.softmaxkld 散度计算tensorflowpytorch完整代码 二维数据输入
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
- **PyTorch等库的实现**：在PyTorch等深度学习框架中，通常提供现成的交叉熵损失函数实现，如`torch.nn.functional.cross_entropy`，它不仅计算损失，还会自动将模型的输出归一化为概率分布，无需额外处理。...
损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）
weixin_50752408的博客
03-15 2万+
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数，可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中，KL散度常常用于衡量两个概率分布之间的差异程度，例如在生成模型中使用 KL散度作为损失函数的一部分，或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是，KL散度的计算要求 P 和 Q 的元素都为正数，因此需要在计算前对两个概率分布进行归一化处理，使其元素和为 1。
nn.Softmax()与nn.LogSoftmax()
热门推荐
geter_CS的博客
09-28 3万+
nn.Softmax()计算出来的值，其和为1，也就是输出的是概率分布，具体公式如下： 这保证输出值都大于0，在0,1范围内。 而nn.LogSoftmax()公式如下： 由于softmax输出都是0-1之间的，因此logsofmax输出的是小于0的数，   softmax求导： logsofmax求导： 例子： import torch.nn as nn imp...
【NLP 50、损失函数 KL散度】
最新发布
m0_73983707的博客
03-27 1244
KL散度（相对熵）是衡量两个概率分布 P 和 Q 之间差异的非对称性指标。它量化了当用分布 Q 近似真实分布 P 时的信息损失，即P和Q的顺序不能交换，当且仅当P = Q时取等号。
理解「交叉熵」损失函数（包含自信息、信息熵、KL散度、交叉熵概念整理）
人工智能算法与工程实践
10-09 6507
KL散度、交叉熵可以用于衡量模型的“损失”。要深入理解KL散度和交叉熵，首先要从信息论中的基础概念入手。
交叉熵损失和KL散度损失
karmueo46的博客
11-20 1353
交叉熵损失和KL散度损失是常用的衡量两个概率分布之间差异的方法，在神经网络训练中，常用如分类问题和生成模型中。例如，交叉熵常用于分类问题KL散度常用于变分自编码器(VAE)中来衡量近似后验分布和真实后验分布的差异。实际使用时经常忘记这两个概念，下面把这两个概念记录下来以提高记忆点。交叉熵用于直接计算真实分布和预测分布之间的差异。比如。
Pytorch中KL loss
flyingluohaipeng的博客
11-26 4657
第三个参数reduction有三种取值，为 none 时，各点的损失单独计算，输出损失与输入（x）形状相同；为 mean 时，输出为所有损失的平均值；为 sum 时，输出为所有损失的总和。
探索KL散度损失函数：一个深度学习中的关键工具
gitblog_00089的博客
04-13 1741
探索KL散度损失函数：一个深度学习中的关键工具 在机器学习和深度学习领域中，损失函数的选择是模型优化的关键。是一个由yihui-he开发的项目，它关注的是Kullback-Leibler（KL）散度作为损失函数的应用。本文将介绍KL-Loss的基本概念、技术实现、应用场景及特性，帮助开发者更好地理解和利用这一工具。 什么是KL散度损失？ KL散度是一种衡量两个概率分布之间差异的方法，常用于信息论和...
nn.Softmax()与nn.LogSoftmax()与F.softmax(）
qq_34595138的博客
01-09 6346
nn.Softmax()与nn.LogSoftmax()与F.softmax(） nn.Softmax() 计算出来的值，其和为1，也就是输出的是概率分布，具体公式如下： 这保证输出值都大于0，在0,1范围内。 nn.LogSoftmax() 公式如下： 由于softmax输出都是0-1之间的，因此logsofmax输出的是小于0的数， softmax求导： logsofmax求导： 例子： import torch.nn as nn import torch import numpy as np
CrossEntropyLoss损失函数的计算过程
weixin_42173136的博客
03-31 242
CrossEntropyLoss损失函数的计算过程
面试准备---- 交叉熵，相对熵（KL散度），softmax
一只小包子的博客
04-18 911
1.信息熵 在信源中有n个独立取值的信号，每种信号出现的可能性分布为 p1,p2 ,…pn,且各个符号的出现相互独立，那么整体信源的不确定性为单个符号不确定性的统计平均值（单个信号不确定性为 log(1/p)） 称为信息熵 即 H(U) =E[- log( p )]=-∑ pi log(pi),当所有 pi 取值均相等 即 1/N 时 信息熵取到最大值 上图可见 当一件事情发生的概率越大的时候...
import torch import torch.nn as nn import torch.nn.functional as F __all__ = ["LMD_Loss"] def lmd_criterion( logits_student, logits_teacher, target, T, major_labels, ): bs = logits_student.size(0) gt_mask = _get_gt_mask(logits_student, target) label_mask = torch.zeros_like(logits_student).scatter_(1, major_labels.repeat(bs, 1), 1).bool() pred_t = F.softmax(logits_teacher / T - 1000 * label_mask - 1000 * gt_mask, dim=1) pred_s = F.log_softmax(logits_student / T - 1000 * gt_mask, dim=1) return nn.KLDivLoss(reduction="batchmean")(pred_s, pred_t) * (T ** 2) def _get_gt_mask(logits, target): target = target.reshape(-1) mask = torch.zeros_like(logits).scatter_(1, target.unsqueeze(1), 1).bool() return mask class LMD_Loss(nn.Module): def __init__(self, num_classes=10, tau=1, beta=1): super(LMD_Loss, self).__init__() self.CE = nn.CrossEntropyLoss() self.MSE = nn.MSELoss() self.KLDiv = nn.KLDivLoss(reduction="batchmean") self.num_classes = num_classes self.tau = tau self.beta = beta def forward(self, logits, targets, dg_logits, major_labels): ce_loss = self.CE(logits, targets) lmd_loss = lmd_criterion(logits, dg_logits, targets, self.tau, major_labels) loss = ce_loss + self.beta * lmd_loss return loss逐句解释这个代码块的内容
03-10
<think>好的，我现在需要逐句解释用户提供的这个PyTorch代码块。首先，我要理解整个代码的结构和功能。看起来这是一个自定义的损失函数模块，可能用于知识蒸馏或者类似的任务，因为涉及到学生和教师的logits处理。 首先，用户导入了一些PyTorch模块，包括torch、torch.nn和torch.nn.functional。然后定义了一个__all__变量，包含"LMD_Loss"，说明这个模块主要暴露的是LMD_Loss类。 接下来是lmd_criterion函数。这个函数接受学生和教师的logits、目标标签、温度参数T和major_labels。我需要仔细看里面的每一步操作。比如，bs是batch size，然后gt_mask是通过_get_gt_mask函数生成的，这个函数的作用应该是创建真实标签的掩码。然后label_mask是通过scatter_方法生成的，这里可能是在将major_labels的位置设置为1，生成一个布尔掩码。 然后，计算pred_t和pred_s的时候，使用了softmax和log_softmax，并且减去了1000乘以两个掩码，这可能是为了在softmax时将这些位置的值压制到接近零，因为减去一个大数会让指数运算结果趋近于零。之后返回的是KL散度损失乘以T的平方，这和知识蒸馏中的温度缩放有关。 接下来是_get_gt_mask函数，它利用scatter_方法根据target生成一个布尔掩码，标记真实类别的位罝。 然后是LMD_Loss类，继承自nn.Module。初始化方法中定义了交叉熵损失、MSE、KL散度损失，还有一些参数如num_classes、tau和beta。前向传播函数中，计算了CE损失和lmd_loss，然后将它们加权相加得到总损失。 现在要逐句解释每个部分，可能需要拆解每一行代码的作用，尤其是那些涉及到张量操作的地方，比如scatter_的使用，以及如何生成掩码。同时，要解释为什么在计算pred_t和pred_s时要减去那些掩码，这可能涉及到抑制某些类别的输出，比如避免真实标签和主要标签的影响。 需要注意的是，用户可能希望了解这个损失函数的设计目的，比如LMD代表什么，可能是什么的缩写，比如可能是Logit Margin Distillation之类的。不过代码中没有明确说明，可能需要根据实现推测。 在解释过程中，要确保术语准确，比如logits、softmax、KL散度等，同时要说明每个参数的作用，比如T是温度参数，用于调整蒸馏的平滑程度，beta是平衡两个损失项的权重。 可能遇到的难点在于解释scatter_方法的具体作用，以及生成的掩码如何影响后续的概率计算。需要详细说明这些步骤，确保用户能够理解每一步的张量变换。 最后，要整理整个解释过程，保持结构清晰，分步骤说明每个函数和类的作用，以及它们在整体损失计算中的角色。</think>我将逐段解释这个基于PyTorch实现的LMD损失函数代码： ```python import torch import torch.nn as nn import torch.nn.functional as F ``` - 导入PyTorch框架的核心模块 - `nn`模块包含神经网络层和损失函数 - `F`模块包含函数形式的神经网络操作 ```python __all__ = ["LMD_Loss"] ``` - 声明模块的公开接口，表示外部只能访问`LMD_Loss`类 --- ### 核心函数`lmd_criterion` ```python def lmd_criterion( logits_student, logits_teacher, target, T, major_labels, ): bs = logits_student.size(0) ``` - 定义LMD损失的核心计算函数 - 参数说明： - `logits_student`: 学生模型的原始输出（未归一化） - `logits_teacher`: 教师模型的原始输出 - `target`: 真实标签 - `T`: 温度系数，用于软化概率分布 - `major_labels`: 主类别标签（需要特殊处理的类别） ```python gt_mask = _get_gt_mask(logits_student, target) ``` - 调用`_get_gt_mask`生成真实标签掩码 - 生成形状与logits相同的布尔矩阵，仅在真实标签位置为True ```python label_mask = torch.zeros_like(logits_student).scatter_(1, major_labels.repeat(bs, 1), 1).bool() ``` - 创建主类别掩码： - 1. 创建全零矩阵，形状同logits - 2. 使用`scatter_`在`major_labels`指定位置填充1 - 3. 转换为布尔型掩码 ```python pred_t = F.softmax(logits_teacher / T - 1000 * label_mask - 1000 * gt_mask, dim=1) ``` - 计算教师模型的软化概率： - 1. 用温度系数T缩放logits - 2. 通过`-1000 * mask`在softmax前压制指定位置的概率值 - 3. 得到归一化的概率分布 ```python pred_s = F.log_softmax(logits_student / T - 1000 * gt_mask, dim=1) ``` - 计算学生模型的log概率： - 仅压制真实标签位置的数值 - 使用`log_softmax`为后续KL散度计算做准备 ```python return nn.KLDivLoss(reduction="batchmean")(pred_s, pred_t) * (T ** 2) ``` - 计算KL散度损失： - `batchmean`表示按batch维度求均值 - 乘以$T^2$恢复温度缩放对梯度的影响 --- ### 辅助函数`_get_gt_mask` ```python def _get_gt_mask(logits, target): target = target.reshape(-1) mask = torch.zeros_like(logits).scatter_(1, target.unsqueeze(1), 1).bool() return mask ``` - 生成真实标签的one-hot掩码： - `scatter_`在指定位置填入1 - 将数值矩阵转换为布尔型 --- ### LMD_Loss类 ```python class LMD_Loss(nn.Module): def __init__(self, num_classes=10, tau=1, beta=1): super(LMD_Loss, self).__init__() self.CE = nn.CrossEntropyLoss() self.MSE = nn.MSELoss() self.KLDiv = nn.KLDivLoss(reduction="batchmean") self.num_classes = num_classes self.tau = tau self.beta = beta ``` - 继承`nn.Module`实现自定义损失 - 初始化参数： - `tau`: 温度系数（对应函数参数T） - `beta`: 损失权重系数 - 预定义三种损失函数 ```python def forward(self, logits, targets, dg_logits, major_labels): ce_loss = self.CE(logits, targets) lmd_loss = lmd_criterion(logits, dg_logits, targets, self.tau, major_labels) loss = ce_loss + self.beta * lmd_loss return loss ``` - 前向计算流程： 1. 计算标准交叉熵损失 2. 计算LMD定制损失 3. 加权合并两个损失项 --- ### 算法特点 1. **双损失结合**：交叉熵保证基础分类性能，LMD损失实现知识蒸馏 2. **掩码机制**： - `gt_mask`保护真实标签不被压制 - `label_mask`处理特定主类别 3. **温度缩放**：通过温度系数T控制分布软化程度 4. **梯度修正**：$T^2$项抵消温度缩放对梯度的影响 该实现适用于需要同时保持原始分类性能并进行知识转移的场景，常见于模型压缩、对抗训练等应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值