softmax交叉熵为什么要取-log

最新推荐文章于 2025-05-14 19:26:05 发布
原创 最新推荐文章于 2025-05-14 19:26:05 发布 · 3.3k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#交叉熵

本文深入探讨了Softmax函数和交叉熵损失函数在机器学习中的应用，解释了为何使用-log进行权重调整，以及如何通过这种方式使模型更有效地学习正确的分类。
部署运行你感兴趣的模型镜像

                                                              softmax交叉熵为什么要取"-log"

#######################################################################################

如图：-log是递减函数，对应着 错误越大包含信息越多，越正确包含信息越少，所以给错的比例越大。

而softmax之后，全部在【0，1】之间，越接近1，比例接近0；越接近0，比例无限大。从而可以学习正确的东西。

 

 

 

 

 

 

 

 

 

 

 

 

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

log_softmax
jacke121的专栏
02-19 7186
参考：https://blog.youkuaiyun.com/qq_28418387/article/details/95918829 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 原创AI学渣 最后发布于2019-07-14 22:17:11 阅读数 683 收藏 展开 最近看了一些Pytorch的代码，代码中使用了Log_S.........
[log_softmax]——深度学习中的一种激活函数
.
03-23 3720
具体来说，在模型训练过程中，[log_softmax]可以被当作是损失函数的一部分，用于计算预测值与真实值之间的距离。在深度学习中，我们需要将神经网络的输出转化为预测结果，而由于输出值并非总是代表着概率，因此我们需要使用激活函数将其转化为概率值。总结来说，[log_softmax]是深度学习中非常重要的一种激活函数，它通过运算将神经网络的输出值转化为概率值，进而用于模型训练和评估中。在深度学习中，激活函数是非常重要的组成部分之一，而[log_softmax]就是其中的一种。
交叉熵损失函数中为什么核心是使用对数函数计算惩罚
XD的博客
11-29 940
惩罚错误预测的严重性：对数函数对预测概率小的类别给予更大惩罚，有助于提升模型对正确类别的信心。与最大似然估计的关系：交叉熵损失可以看作是最大化对数似然的负值，符合概率模型的优化目标。提高数值稳定性：对数能够平滑极小的概率值，避免计算过程中的数值不稳定。梯度计算的简化：对数函数具有良好的导数性质，能有效支持反向传播和梯度下降的计算。适应概率分布的结构：交叉熵损失能够度量真实概率分布和预测概率分布之间的差异，符合概率论中的基本原理。
熵为什么使用log？
xian0710830114的专栏
12-03 2867
首先，信息也是物理量，就像质量kg，我们测量质量的方法是，我们选择一个参照物，把这个物体的质量定义为1kg，当想要测量其它物体的质量时就看这个这个物体的质量相当于多少个参照物的质量，这里的多少个便是kg。 上图中待测物体的质量m等于参照物体的质量B乘以参照物体的个数n，所以当知道总质量m要求个数n时，我们用乘法的反函数，既除法来计算。 但是测量信息时，不能用除法，比如抛掷3枚硬币能够产生的结果是2的3次方=8种，而不是2*3=6种，是指数关系而...
交叉熵损失函数和似然估计_LR为什么用极大似然估计，损失函数为什么是log损失函数（交叉熵）...
weixin_42315824的博客
01-14 751
去今日头条面试没有答上来，回来自己想了想，查了查，把解释写出来，不一定合理。首先，逻辑回归是一个概率模型，不管x取什么值，最后模型的输出也是固定在(0,1)之间，这样就可以代表x取某个值时y是1的概率这里边的参数就是θ，我们估计参数的时候常用的就是极大似然估计，为什么呢？可以这么考虑比如有n个x，xi对应yi=1的概率是pi，yi=0的概率是1-pi，当参数θ取什么值最合适呢，可以考虑n个x中对应...
PyTorch的SoftMax交叉熵损失和梯度用法
09-18
SoftMax函数是一种将向量转换为概率分布的方法，确保所有元素的和为1，而交叉熵损失则是衡量预测概率分布与真实标签之间差异的指标。 首先，SoftMax函数的数学表达式为： \[ \text{SoftMax}(z_i) = \frac{e^{z_i}}{...
深度学习 - softmax交叉熵损失计算
weixin_47552266的博客
06-08 1501
Softmax 函数将原始的预测值转换为概率分布。），Softmax 后的预测概率分布为。），Softmax 后的预测概率分布为。对于第一个样本，真实标签为 1（对于第二个样本，真实标签为 2（Softmax 结果为。Softmax 结果为。因此，最终的交叉熵损失。约为 1.1205。
softmax交叉熵
jshazhang的专栏
12-26 244
多分类问题 神经网络输出多个类型，每个类型需要判断正确的概率，这个时候logisticregression就不行了，我们就需要新的函数来解决这个问题，也就是softmax，称归一化指数函数。 softmax 公式 δ(z)=exp⁡zi∑j=1mexp⁡zj,i=1,...,m \delta(z) ={ {\exp^{z_i}}\over{ \sum_{j=1}^m \exp^{z_j}}},i=...
loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id]
ZJQ的博客
05-14 291
这行代码 loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id] 用于计算负对数似然损失，引导模型生成特定标签（如“偏激”）。首先，logits[:, -1, :] 提取模型最后一个时间步的预测分数，形状为 [batch_size, vocab_size]。接着，F.log_softmax(..., dim=1) 将 logits 转换为对数概率分布，确保数值稳定性。[0, irrational_id] 从对数概率分布中提取目标标签（
损失函数中为什么要用Log？
weixin_44230569的博客
04-30 2085
首先我们思考为什么要用softmax，假设我们不用softmax，模型最后的输出有可能是[-0.1, -0.1, 0.1](三分类)，也有可能是[10, 9.9,9.9],我们使用极大似然估计来分析，第二个输出的值大，它的置信度应该很高，但事实并非如此。我们分析似然函数，其值在0到1之间，而且越接近于1说明分类的效果越好，越接近于0说明分类的效果越差。,而负对数似然就不会有这个问题，只有存在单个样本真实概率为0的情况下，才会出现数值溢出的问题，也是半精度计算中经常出现的loss nan的问题。
为啥要有logsoftmax？ Log-Sum-Exp Trick
心之所向
06-23 863
关于LogSumExp The Log-Sum-Exp Trick
机器学习分类，损失函数中为什么要用Log，机器学习的应用
ZJQ的博客
08-21 2310
损失函数中为什么要用Log 为什么对数可以将乘法转化为加法？ 机器学习（Machine Learning） 机器学习的分类 监督学习 无监督学习 强化学习 机器学习的应用 应用举例：猫狗分类 1. 现实问题抽象为数学问题 2. 数据准备 3. 选择模型 4. 模型训练及评估 5.预测结果
交叉熵的公式是怎么来的
gt362ll的博客
07-31 4772
交叉熵损失函数是机器学习中一个常见的损失函数，用来衡量目标与预测值之间的差距，看着公式能感觉到确实有种在衡量差距的感觉，但是又说不出为什么有这种作用。下面从信息量-信息熵-交叉熵的步骤来看交叉熵公式的意义。 信息量 信息量是我们能获得未知信息的多少，比如我说周杰伦某天开演唱会，这件事信息量就很小，因为演唱会哪天开已经公布了，这件事发生的概率很大，不用我说你也知道。但是我如果说周杰伦出轨了，这件...
[机器学习基础]为什么要使用 softmax 和 交叉熵 ?
weixin_44834206的博客
03-22 1376
通过数学推导来解释 为什么我们要使用 交叉熵 和 softmax
交叉熵损失函数
Lian_Ge_Blog的博客
07-25 2751
交叉熵函数公式推导以及分类问题使用交叉熵损失函数而不是使用MSE的原因对比
softmax输出向量的计算过程以及log_softmax的优势
吉米_王
05-21 2951
说明：本文部分文本参考知乎博主chuang的一篇文章 softmax 计算过程如图所示： logsoftmax 而logsoftmax无非是在softmax的结果至上进行log操作，即log（yi），输出结果均为负数； 值域范围在（0， 1）之间如图所示：（随便画的有点丑） 重点： log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性。 如上图所示： softmax会进行指数操作，当上一层的输出，也就是softmax的输入.
softmax()和log_softmax()、CrossEntropyLoss()和NLLLoss()对比分析
HUSTHY的博客
03-28 5955
softmax()和log_softmax()比较和分析
softmax 与 logsoftmax 区别 或者说logsoftmax优点
studyvcmfc的专栏
06-09 1610
1 logsoftmax 将softmax复杂的指数运算变成了加减运算，提高了效率，logsoftmax并非是先计算softmax再计算log的前后迭加运算，否则计算效率体现在哪里 2 提高了数字的有效性，exp运算计算得到的概率小数点后的0好多位，影响了数据的有效性，采用log方式就有效去除了无效的0占位，提高了数字的有效性 https://blog.youkuaiyun.com/hao5335156/article/details/80607732 ...
log_softmax与softmax区别
studyvcmfc的专栏
06-07 864
log_softmax能够解决函数overflow和underflow，加快运算速度，提高数据稳定性
为什么softmax的损失是loss = -log(a_i) y=i,当y是真实标签时
最新发布
07-19
在分类任务中，Softmax 激活函数通常与交叉熵损失（Cross-Entropy Loss）结合使用，用于多分类问题。在深度学习中，Softmax 函数将模型输出的原始分数（logits）转换为概率分布，而交叉熵损失则衡量预测概率分布与真实标签之间的差异。 --- ### 为什么 Softmax 的损失函数是 `loss = -log(a_i)`，当 `y=i` 时？ 我们先从数学上理解这个问题。 #### 1. Softmax 函数定义 对于一个向量 $ z = [z_1, z_2, ..., z_C] $，Softmax 函数将其映射为一个概率分布： $$ a_i = \text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{C} e^{z_j}} $$ 其中 $ a_i $ 是第 $ i $ 类的概率输出。 #### 2. 真实标签表示 在多分类任务中，真实标签通常使用 one-hot 编码表示。例如，在三分类任务中，若真实类别是第 2 类，则标签为： $$ y = [0, 1, 0] $$ #### 3. 交叉熵损失函数定义 对于单个样本，交叉熵损失函数定义为： $$ \text{Loss} = -\sum_{i=1}^{C} y_i \log(a_i) $$ 由于 $ y $ 是 one-hot 编码，只有一个位置为 1，其余为 0。因此，损失函数可以简化为： $$ \text{Loss} = -\log(a_i) \quad \text{当 } y=i $$ 这表示我们只关心模型对真实类别的预测概率。 --- ### 代码示例（Python） 以下是一个简单的 Softmax + 交叉熵损失的实现： ```python import numpy as np def softmax(z): exp_z = np.exp(z - np.max(z)) # 防止数值溢出 return exp_z / np.sum(exp_z) def cross_entropy_loss(y_true, y_pred): return -np.log(y_pred[y_true]) # 示例：三分类问题 z = np.array([2.0, 1.0, 0.1]) # 模型输出的 logits y_true = 0 # 真实类别是第 0 类 # 计算 softmax a = softmax(z) # 计算损失 loss = cross_entropy_loss(y_true, a) print("Softmax 输出:", a) print("交叉熵损失:", loss) ``` #### 解释： - `softmax` 函数将 logits 转换为概率分布。 - `cross_entropy_loss` 函数根据 one-hot 标签选择对应的概率值并计算负对数似然。 - 最终输出的是模型对真实类别的置信度的负对数，即损失值。 --- ### 为什么用负对数？ - 对数函数是单调递增的，因此 $ -\log(a_i) $ 随着 $ a_i $ 的增大而减小。 - 当模型对真实类别的预测概率接近 1 时，损失接近 0；当预测概率接近 0 时，损失趋于无穷大。 - 这种设计鼓励模型提高对真实类别的预测概率。 --- ### 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值