ptorch中的nn.KLDivLoss：KL散度损失

原创 已于 2025-06-04 00:38:01 修改 · 1.3k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

于 2024-03-23 20:01:58 首次发布
本文介绍了KL散度在度量分布差异的应用，着重讲解了PyTorch库中torch.nn.KLDivLoss函数的定义、使用方法以及与交叉熵损失的区别。特别提到在使用KLDivLoss时需对输入做softmax和可能的对数转换以确保数值稳定性。

  KL散度被广泛应用于度量分布之间的差异，其形式为： D K L ( P ∣ ∣ Q ) = ∑ i = 1 N p i l o g p i q i = ∑ i = 1 N p i ∗ ( l o g p i − l o g q i ) D_{KL}(P||Q)=\sum_{i=1}^{N}p_ilog\frac{p_i}{q_i}=\sum_{i=1}^{N}p_i*(logp_i-logq_i) DKL​(P∣∣Q)=i=1∑N​

最低0.47元/天 解锁文章
深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 1353
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
torch.nn.KLDivLoss(）损失函数输出结果为负数
A_John 的博客
04-22 5859
torch.nn.KLDivLoss(）损失函数输出结果为负数
Pytorch之KLDivLoss
逸彬的博客
07-14 3066
Pytorch之KLDivLoss
Pytorch nn.KLDivLoss, reduction=‘none‘|‘mean‘|‘batchmean‘详解
Chenglin(Ben) Yu's Miracle
12-21 3946
Pytorch nn.KLDivLoss, reduction=‘none’|‘mean’|'batchmean’详解 先看下官方文档 https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html 然后运行下这个例子 import torch import torch.nn as nn if __name__ == '__main__': x = torch.tensor([[0.1,0.3,0.6],
PyTorch学习笔记：nn.KLDivLoss——KL散度损失
qq_50001789的博客
02-10 2万+
PyTorch学习笔记：nn.KLDivLoss——KL散度损失
nn.KLDivLoss
热门推荐
咕噜咕噜
01-18 3万+
KLDivLoss 作用： 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label_smoothing就采用这个； 公式： 公式理解： p(x)是真实分布，q（x）是拟合分布；实际计算时；通常p（x）作为target，只是概率分布；而xn则是把输出做了LogSoftmax计算；即把概率分布映射到log...
关于pytorch nn.KLDivLoss()损失计算loss值为负数的原因
L888666Q的博客
08-15 6477
KL散度，又叫相对熵，用于衡量两个分布（离散分布和连续分布）之间的距离。
kldistancehs.rar_KL_MATLAB KL散度_kldistancehs.rar_matlabKL散度_评价
07-15
**KL散度（Kullback-Leibler Divergence）**是信息论中一个重要的概念，用于衡量两个概率分布之间的差异。在本压缩包中，`kldistancehs.rar`包含了一个MATLAB实现，用于计算KL散度并进行效果评价。MATLAB作为一种...
tf.keras.losses.KLDivergence KL散度 损失函数 示例
weixin_44493841的博客
11-24 2825
KL 散度 loss=正确值×log(正确值预测值)loss = 正确值 \times log(\frac{正确值}{预测值})loss=正确值×log(预测值正确值​) import tensorflow as tf y_true = [[0, 1], [0, 0]] y_pred = [[0.6, 0.4], [0.4, 0.6]] # Using 'auto'/'sum_over_batch_size' reduction type. kl = tf.keras.losses.KLDivergenc
【PyTorch】torch.nn.KLDivLoss() 函数：计算 Kullback-Leibler（KL）散度的损失函数
最新发布
彬彬侠的博客
03-14 1382
torch.nn.KLDivLoss是PyTorch中用于计算Kullback-Leibler（KL）散度的损失函数，用于衡量两个概率分布之间的差异。KL散度常用于自回归模型、变分自编码器（VAE）以及深度强化学习中。预测值q必须使用log_softmax，目标值p必须是概率分布。reduction="batchmean"是推荐的默认设置。适用于知识蒸馏、VAE、强化学习等任务。
pytorch 笔记：KLDivLoss
qq_40206371的博客
10-28 1277
对于具有相同形状的张量 ypred​ 和 ytrue（ypred​ 是输入，ytrue​ 是目标），定义逐点KL散度为：为了在计算时避免下溢问题，此KLDivLoss期望输入在对数空间中。如果log_target=True，则目标也在对数空间。
PyTorch学习笔记：nn.KLDivLoss
PLANTTHESON的博客
09-21 1040
KL散度代码
class torch.nn.KLDivLoss(size_average=True, reduce=True)
u013548568的博客
04-02 2万+
Pytorch torch.nn.KLDivLoss 首先是KL散度损失的计算公式 再对应到pytorch中的描述（0.4.0版本） 假设输入x大小为（MXCXWXH）,y的大小也为（MXCXWXH），N是MCW*H的乘积，最后计算N个lnl_nln​, 也就是每一个位置的KL散度。如果reduce=True,最后会呈现加法或者平均的结果 如果reduce=False 那么就输出大小为（...
loss函数之KLDivLoss
ltochange的博客
07-12 9267
KL散度 KL散度，又叫相对熵，用于衡量两个连续分布之间的距离，公式如下： DKL(p∥q)=∑i=1Np(xi)⋅(log⁡p(xi)−log⁡q(xi))D_{K L}(p \| q)=\sum_{i=1}^{N} p\left(x_{i}\right) \cdot\left(\log p\left(x_{i}\right)-\log q\left(x_{i}\right)\right)DKL​(p∥q)=∑i=1N​p(xi​)⋅(logp(xi​)−logq(xi​)) KLDivLoss KL算散
nn.KLDivLoss(2)
FY_2018的博客
07-09 785
import torch import torch.nn as nn import numpy as np # ----------------------------------- KLDiv loss loss_f = nn.KLDivLoss(size_average=False, reduce=False) loss_f_mean = nn.KLDivLoss(size_average=True, reduce=Tru...
torch.nn.KLDivLoss(1)
FY_2018的博客
07-09 1164
loss = nn.KLDivLoss(reduce=False) batch_size = 5 log_probs1 = F.log_softmax(torch.randn(batch_size, 10), 1) probs2 = F.softmax(torch.randn(batch_size, 10), 1) loss(log_probs1, probs2) / batch_size
损失函数总结（六）：KLDivLoss、BCEWithLogitsLoss
走在深度学习前沿的小宋
10-26 1405
本文对损失函数进行了部分总结，包括：KLDivLoss、BCEWithLogitsLoss等损失函数及其在当前损失函数众多的情况下使用的环境。
KLDivLoss学习
m0_47105444的博客
05-03 2122
参照pytorch官网教程，了解了一下KL散度的调用方法，做个记录。 https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html 计算公式： 而调用代码时torch.nn.KLDivLoss和F.kl_div是一样的，前者是一个类，在实现方法里调用了后者方法。 To avoid underflow issues when computing this quantity, this loss expects the argument
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一本糊涂张～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值