Softmax Loss(Cross Entropy) 与 MLE

最新推荐文章于 2025-02-11 12:15:56 发布
原创 最新推荐文章于 2025-02-11 12:15:56 发布 · 424 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文解释了SoftmaxLoss如何通过最小化负对数似然估计（MLE）来逼近真实概率分布。通过实例说明，我们展示了如何将似然函数转化为交叉熵形式，并探讨了其在分类问题中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        Softmax Loss等价于在负对数方向上极小化MLE。

        设总体(X,Y)~P，p为概率密度分布，x为从总体X中抽取的样本，对应于y类，我们希望在给定样本x条件下，使得P\left ( y\mid x;\theta \right )最大，也即此时\theta为x属于各类的概率，y为x真实在各类上的概率，注意，此时y为one-hot编码。所以，我们求其似然函数有:

                ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​     p\left ( y\mid x;\theta \right )=\prod_{k=1}^{K}\theta_{k}^{y_{k}}                                                   （1）

 \theta_{k}表示第k类上的概率，y_{k}为第k类对应的one-hot标签，也就是说我们希望在K类上，寻找一个分布能够使该分布尽可能表示各个类。注：这里的\theta_{k}也就是经由softmax函数得到的\hat{y}。再由极大似然估计的流程，得到

 

这里的l\left( y,\hat y \right ) 就是(1)取对数后的结果。

参考：交叉熵和极大似然估计的再理解 - 知乎

 

逻辑回归中的损失函数：交叉熵损失详解与推导
AI天才研究院
05-03 838
逻辑回归（Logistic Regression）是机器学习中最基础的分类算法之一，广泛应用于二分类和多分类问题。其核心优势在于模型简单、可解释性强，且损失函数设计与概率理论深度契合。本文聚焦逻辑回归的核心组件——交叉熵损失函数交叉熵损失为何能有效衡量分类模型的预测误差？二分类与多分类场景下的损失函数形式有何联系与区别？如何通过极大似然估计推导出交叉熵损失的数学表达式？工程实践中如何高效实现交叉熵损失的计算与梯度求解？从信息论基础引入熵、KL散度、交叉熵的核心概念。
深度学习剖根问底：各种Loss大总结
BigCowPeking
09-08 9102
1. 指数损失函数（Adaboost） 学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。在Adaboost中，经过m此迭代之后，可以得到fm(x): Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数α和G： 而指数损失函数(exp-loss）的标准形式如下 可以看出，Adaboost的目标式子就是指数损失，在...
人脸识别-损失函数：概述【Softmax loss→Center Loss→L-Softmax Loss→SphereFace→CosFace→ArcFace】
u013250861的博客
08-18 930
L=−j=1∑T​yj​log(Sj​)=−N1​i∑​log(∑j​ewjT​xi​ewyi​T​xi​​)LSj​Sjjyj​j1Ty1×TT11T−10110样本3真实类别为c1​，c5​loss3​=−∑yi,c​⋅log(pi,c​)​=−[y3,1​⋅log(p3,1​)+
softmax loss
keep forward, go, go, go
07-04 1565
  softmax函数比较简单，可以用如下公式表示 同样，交叉熵的公式也很简单，如下： 其中 表示真实的概率（），而 表示预测的概率。 在深度学习中，这二者也经常被使用，softmax常被用来将输出映射到0~1的概率值，而cross entropy则常被用来作为分类模型的损失函数。 在使用的时候有什么需要注意的呢？ softmax存在下溢和上溢的问题，如果=c，那么softmax的值都...
『损失函数』softmax loss
sinat_39783664的博客
02-14 673
softmax loss介绍
Softmax损失函数
张洁的笔记
12-17 3108
上一篇博客讨论了SVM的损失函数，本篇博客主要来讨论softmax的损失函数以及两者之间的差别。
一文看懂softmax loss
自己在学习过程中的总结
03-18 3646
本文针对softmax函数、交叉熵损失函数、softmax loss损失函数（重点）、带有temperature参数的softmax loss进行了详细的讲解，目的是更好的理解softmax loss。
深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
热门推荐
寒小阳
11-23 6万+
这个部分我们介绍一类新的分类器方法，而对其的改进和启发也能帮助我们自然而然地过渡到深度学习中的卷积神经网。有两个重要的概念： 得分函数/score function：将原始数据映射到每个类的打分的函数 损失函数/loss function：用于量化模型预测结果和实际结果之间吻合度的函数 在我们得到损失函数之后，我们就将问题转化成为一个最优化的问题，目标是得到让我们的损失函数取值最小的一组参数。
机器学习必备公式之Softmax函数
2303_79000779的博客
02-11 918
Softmax 函数 是一种常用的归一化函数，通常用于多分类问题中。它将一个 K 维的实值向量转换为一个 K 维的概率分布，使得每个元素的值在 [0, 1] 之间，且所有元素的和为 1。公式：其中：作用：Softmax 函数的推导过程可以从概率模型和最大似然估计的角度来理解。以下是详细的推导过程：在多分类问题中，我们需要将一个 K 维的实值向量转换为一个概率分布 ，其中： 我们希望找到一种映射函数（即 Softmax 函数），能够实现这一转换。为了将实值向量转换为概率分布，我们可以利用指数函数的性质：因此，
深度学习笔记（一）线性SVM与SoftMax分类器
Yuriel媛的Blog
09-09 9366
1. 线性分类器KNN处理图像识别虽然实现起来非常简单，但是有很大的弊端： 分类器必须记住全部的训练数据(因为要遍历找近邻啊！！)，而在任何实际的图像训练集上，数据量很可能非常大，那么一次性载入内存，不管是速度还是对硬件的要求，都是一个极大的挑战。 分类的时候要遍历所有的训练图片，这是一个相当相当相当耗时的过程。 这个部分我们介绍一类新的分类器方法，而对其的改进和启发也能帮助我们自然而然地过渡到深
【损失函数系列】softmax loss损失函数详解
gbz3300255的博客
09-08 4万+
1.损失函数： 损失函数（loss function）是用来评测模型的预测值f(x)与真实值Y的相似程度，损失函数越小，就代表模型的鲁棒性越好，损失函数指导模型学习。根据损失函数来做反向传播修改模型参数。机器学习的目的就是学习一组参数，使得预测值与真值无限接近。 2.softmax loss： 它是损失函数的一种，是softmax和cross-entropy loss组合而成的损失函数。 先看softmax，其函数形式如下：其中zj就是某个神经网络全连...
softmax类loss
knightprin的博客
04-02 206
本篇讲述softmax类loss。 softmax, 即在最后一层输出，利用exp映射到0-1的范围中。 σi(z)=ezi∑j=1mezi, \sigma_i(z) = \frac{e^{z_i}}{\sum_{j=1}^{m}e^{z_i}}, σi​(z)=∑j=1m​ezi​ezi​​, 可知每层结点输出值的总和为1, 可模拟概率分布输出。 下面讲述交叉熵, (cross-entropy)...
深度学习-softmax和softmax loss笔记
sykai1的博客
03-02 600
本文作为自己学习softmax和softmax loss笔记而写，留作自己日后回顾，如文中有错误还请不吝指教，感谢！ 图片来自：https://eli.thegreenplace.net/2016/the-softmax-function-and-its-derivative/ 全连接层解释 上图中，等号左边就是全连接层需要完成的任务，其中： W[T×N]W[T\times N]W[T×N]是全连接层的权重（参数），在训练网络过程中全连接层最终的目标就是寻找合适的WWW。W[T×N]W[T\times
简明谈谈softmax loss
qq_41853758的博客
09-11 906
softmax loss概念如下： 首先L是损失。Sj是softmax的输出向量S的第j个值，前面已经介绍过了，表示的是这个样本属于第j个类别的概率。yj前面有个求和符号，j的范围也是1到类别数T，因此y是一个1*T的向量，里面的T个值，而且只有1个值是1，其他T-1个值都是0。那么哪个位置的值是1呢？答案是真实标签对应的位置的那个值是1，其他都是0。所以这个公式其实有一个更简单的形式： ...
softmax损失函数
ture_dream的博客
02-09 3万+
cnn进行前向传播阶段，依次调用每个Layer的Forward函数，得到逐层的输出，最后一层与目标函数比较得到损失函数，计算误差更新值，通过反向传播逐层到达第一层，所有权值在反向传播结束时一起更新。 loss layer 是CNN的终点，接受两个Blob作为输入，其中一个是CNN的预测值，另一个是真实标签。损失层则将这两个输入进行一系列运算，得到当前网络的损失函数（Loss Function），
Softmax和softmax loss的理解
xiaobumi123的博客
04-18 311
转载博客链接：https://blog.youkuaiyun.com/u014380165/article/details/77284921 下图展示的是全连接层的计算： 这张图的等号左边部分就是全连接层做的事，W是全连接层的参数，我们也称为权值，X是全连接层的输入，也就是特征。从图上可以看出特征X是N*1的向量，这是怎么得到的呢？这个特征就是由全连接层前面多个卷积层和池化层处理后得到的，假设全连接...
caffe源码学习:softmaxWithLoss前向计算
HAHA的专栏
08-04 1万+
caffe源码学习:softmaxWithLoss      在caffe中softmaxwithLoss是由两部分组成，softmax+Loss组成，其实主要就是为了caffe框架的可扩展性。   表达式（1）是softmax计算表达式，（2）是sfotmaxLoss的计算损失表达。在caffe中是单独的计算每层的输入和输出，然后再进行向后传递data结果和向前传递diff的结果。
Normalized Softmax Loss
weixin_44742887的博客
06-12 1130
目录19-BMVC-Classification is a Strong Baseline for Deep Metric LearningSoftmax LossLayer Normalization类别平衡采样binary embeddings19-ICCV-SoftTriple Loss：Deep Metric Learning Without Triplet SamplingSoftTriple Loss1) we establish that classification is a strong
【深度学习】详解 Softmax Cross Entropy Loss
闻韶
05-25 1万+
Softmax Cross Entropy Loss = Softmax + Cross Entropy Loss
最大似然估计损失函数有啥用
最新发布
03-19
loss_fn = nn.CrossEntropyLoss() output = model(data) # output has shape [batch_size, num_classes] target = target.long() loss = loss_fn(output, target) ``` 这里需要注意的是 Cross Entropy Loss 可视...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值