log_softmax与softmax的区别

蓝羽飞鸟 蓝羽飞鸟 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 652平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄8年
关注
原创 最新推荐文章于 2026-03-17 00:28:57 发布 652 阅读 AI 写同款· GEO 优化 ›
Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。 本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=... 阅读详情

log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性。

softmax:
exp(x_i) / exp(x).sum()

softmax在输入很大的时候，会产生向上溢出，超出float的表示范围。输入很小时，分子分母很小，可能四舍五入为0，导致向下溢出。

log_softmax:
log( exp(x_i) / exp(x).sum() )
实际操作上如下，M是x中的最大值
在这里插入图片描述
参考资料

收录于
DeepLearning

当前文章被收录于：

DeepLearning
71 篇文章 13 人学习
订阅专栏 查看详情
标签
#深度学习 #算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
手把手推导APM的 sqrt_controller控制器 前言 玩过无人机的朋友对APM应该都不会陌生，如果是搞过多旋翼飞控且读过代码，肯定遇到过sqrt_controller控制器，它频繁的在位置、姿态控制中出现，所以非常有必要搞清楚这个控制原理。 下面以高度控制器为例来分析。 高度控制 APM的高度控制采用PID串级3环控制，即外环位置控制，中间速度控制，内环速度控制，如下图所示。 今天要讨论的sqrt_controller就是应用于位置控制器中。位置控制器的输出是速度控制器的参考reference输入，如果采用单P控制，其输出vel_ref = pos_e 阅读详情

相关推荐

NS-3 和Aqua-sim-ng 学习笔记(一)

因为要搞水下网络，OMNET++不太合适，就转Aqua-sim。这是基于NS-2上的模型，NS-2需要额外学一门tcl脚本语言。 正好查到它的一个升级版Aqua-sim-NG，在github上，https://github.com/rmartin5/aqua-sim-ng是基于NS-3的，只需要基本的C++，不用学tcl语言。美滋滋。 装好ubuntu之后，安装NS-3和Aqu...

diboshang8820的博客 2191

log_softmax比softmax更好？

探讨一下在多类别分类场景，如翻译、生成、目标检测等场景下，使用log_softmax的效果优于softmax的原因。则使用softmax操作的a,b向量在损失上相差-1e-4，而使用log_softmax在损失上相差-7e-4。此时，对比一下softmax操作之后损失之差为9.42e-2，log_softmax损失之差为0.6661。即便预测概率分布很接近真实概率分布，在损失上下降也不是很明显(9.42e-2)，但使用。会有非常显著的损失下降(0.6661，约为softmax的7倍)。会加大错误类别惩罚。

走路带风 487

卡尔曼滤波与目标追踪

卡尔曼滤波与目标追踪为什么要学卡尔曼滤波？卡尔曼滤波是什么？一些概率论的知识基础卡尔曼滤波完整推导状态估计计算卡尔曼增益预测和更新 卡尔曼滤波部分我打算分三节（三次博客的内容）： 卡尔曼滤波与行人状态估计 扩展卡尔曼滤波（EKF）与传感器融合 过程模型，无损卡尔曼滤波（UKF）与车辆状态轨迹 为什么要学卡尔曼滤波？ 卡尔曼滤波以及其扩展算法能够应用于目标状态估计，如果这个目标是行人，那么就是行人状态估计（或者说行人追踪），如果这个目标是自身，那么就是车辆自身的追踪（结合一些地图的先验，GPS等数据的话就

qq_43232556的博客 4170

log_softmax与softmax

Softmax Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下： Softmax⁡(zi)=exp⁡(zi)∑jexp⁡(zj)\operatorname{Softmax}\left(\boldsymbol{z}_{i}\right)=\frac{\exp \left(z_{i}\right)}{\sum_{j} \exp \left(z_{j}\right)}Softmax(zi..

qq_43183860的博客 6642

麒麟系统下PaddleOCR的离线部署实战：从环境搭建到模型优化

本文详细介绍了在国产麒麟操作系统上离线部署百度PaddleOCR的完整实战流程。从系统环境准备、Conda虚拟环境搭建，到PaddlePaddle框架和PaddleOCR的离线安装，再到预训练模型的本地部署与优化技巧，提供了全面的文字识别解决方案。重点解决了离线环境下依赖包管理、模型量化加速等核心问题，并附带了批量处理与内存监控的进阶代码，适用于对数据安全有严格要求的政务、金融等场景。

docker7nomad的博客 963

KEIL5编译报错L6200E：__stdout重定义问题分析与解决

本文深入分析KEIL5编译报错L6200E中__stdout重定义问题的根源，指出因未完整定义__stderr导致与标准库stdio_streams.o冲突。提供完整重定义标准流、启用MicroLIB库等解决方案，帮助开发者彻底解决Symbol multiply defined错误，提升嵌入式开发效率。

uran的专栏 953

一文彻底搞懂深度学习:Softmax函数、Log-Softmax函数

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

老皮的博客 3904

Tinder养号防封攻略来了：最新Tinder养号流程和运营攻略

今天，我就来给大家分享一下Tinder养号的具体操作，以及针对Tinder账号被封的一些常见问题为大家做个答疑。

m0_67768117的博客 2万+

Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解

相关文章 Pytorch学习笔记(一):torch.cat()模块的详解 Pytorch学习笔记(二):nn.Conv2d()函数详解 Pytorch学习笔记(三):nn.BatchNorm2d()函数详解 Pytorch学习笔记(四):nn.MaxPool2d()函数详解 Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解 Pytorch学习笔记(六):out.view(out.size(0), -1)和nn.Linear()函数详解 Pytorch学习笔记(七):F.s

源的博客 5万+

微信小程序获取用户手机号全流程实战（附完整代码）

本文详细介绍了微信小程序获取用户手机号的全流程实战，包括前端授权、后端解密及安全合规要点。通过传统授权按钮和新版手机号快速验证组件两种方案，帮助开发者高效实现功能，并附完整代码示例。重点解析了微信小程序接口的使用技巧和常见问题解决方案，确保数据安全与用户体验。

weixin_29280219的博客 567

微信小程序、H5微信公众号网页JSAPI：解决报错requestMerchantTransfer:fail:internal error（使用wx.requestMerchantTransfer错误）

如何解决requestMerchantTransfer:fail:internal error，微信小程序wx.requestMerchantTransfer报错，微信公众号H5网页使用jssdk调用wx.requestMerchantTransfer报错，JSAPI调起用户确认收款报错errMsg:“requestMerchantTransfer:fail:internal error“，微信小程序/H5 调起确认收款界面，JSAPI调起用户确认收款，微信公众号(H5)，用户发起提现，商家转账给用户，用户

✅ 精选推荐文章 4962

（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别

1.softmax 作用：实现了将n维向量变成n维全为正数，且和为1的向量，在深度学习中可以解释为这个输入属于n个类别的概率。 例子： import torch.nn.functional as F inp1=torch.Tensor([1,3,6]) print(inp1) print(F.softmax(inp1,dim=0)) print("#############") inp2=torch.Tensor([2,2,2]) print(

qq_43391414的博客 1万+

一种抑制undershoot/overshoot锐化算法介绍

一、USM 当增强图像的边缘、细节信息等高频信息时，图像的锐化视觉效果会得到较大提升。提高图像锐化的一种经典算法为非锐化掩码（UNsharp Masking）技术。该技术首先通过高通滤波并与缩放系数相乘，其结果再与原始图像相加，即可对高频信息进行增强。其主要的原理如下图所示： 其中，对图像进行高通滤波的另一种等效方法为：原始图像减去原始图像的低通滤波图像，其结果被称之为“掩码”。因此，上述的USM方法可以表示为： 原始图像减去原始图像低通滤波之后的图像得到掩码M。 2.掩...

大熊 4241

PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/hao5335156/article/details/80607732 1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向...

zhuiqiuk的专栏 3050

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件，这是C++版本的破解文件

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料，已经经过了本人的筛选和整理，希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助！

（三）PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 exp(xi)∑jexp(xj)exp⁡(xi)∑jexp⁡(xj) \frac{\exp...

Haward 13万+

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

关于softmax和log_softmax区别与联系

softmax的缺点： Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。其公式如下： 试想最后一层的输出向量有三个单元Z=[z1=3、z2=1、z3=-3], 此时做softmax，exp(z1)=20、exp(z2)=2.7、exp(z3)=0.05, 根据公式得到各个单元的概率 ：exp(z1)/∑exp(zi)=0.88 、exp(z1)/∑exp(zi)=0.12、exp(z1)/∑ex

qq_41745284的博客 1381

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数...

1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 exp(xi)∑jexp(xj)exp⁡(xi)∑jexp⁡(xj) 输出是一个...

kyle1314608的博客 213

MxNet学习笔记(2)-softmax和log_softmax的区别、CrossEntropyLoss()与NLLLoss()的区别、Log似然代价函数

1  softmax 函数Softmax(x)是一个non-linearity，但它的特殊之处在于它通常是网络中的一次操作，这是因为它接受了一个实数向量并返回一个概率分布，其定义如下，定义x是一个实数的向量(正数或负数都无所谓，没有限制)。然后，第i个Softmax(x)的组成是 输出是一个概率分布：每个元素都是非负的，并且所有元素的总和都是1 2  log_softmax 在soft...

xiaomifanhxx的博客 1509

torch.softmax、torch.nn.Softmax、torch.nn.funtial.softmax和torch.nn.functional.log_softmax的区别

没有找到torch.softmax、torch.nn.Softmax、torch.nn.funtial.softmax这几者的具体区别，但使用方法挺类似的，dim值设为 0 or -1，如果不加的话，torch.softmax会直接报错，另外几个会有deprecated弃用警告。log_softmax出来的结果是softmax的log值。

我有明珠一颗的博客 1028

log_softmax与softmax区别

log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性

studyvcmfc的专栏 880

Pytorch之softmax和log_softmax的区别

函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 输出是一个概率分布: 每个元素都是非负的, 并且所有元素的总和都是1. ...

weixin_45073393的博客 241

PyTorch学习笔记之softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 输出是一个概率分布: 每个元素都是非负的, 并且所有元素的总和都是1. 2、log_soft...

BigData_Mining的博客 1707

torch.log_softmax与torch.nn.functional.log_softmax的区别（dropout，relu，crossentropy，log_softmax）

pytorch，使用torch.nn与torch.nn.functional的区别

ldy007714的博客 2052

softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数——PyTorch

原文链接：https://blog.youkuaiyun.com/hao5335156/article/details/80607732

jiangjiane 1922

【总结】PyTorch多分类log_softmax、softmax的中文手册

【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...

江南蜡笔小新 4844
上一篇： leetcode 785. Is Graph Bipartite?（二分图）
下一篇： torch.nn gather用法
点赞 0
评论 0
书签 书签 0
蓝羽飞鸟
蓝羽飞鸟
博客等级 码龄8年 1万+粉丝 727原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值