如何理解交叉熵损失函数与最小对数似然函数的联系

原创 已于 2023-04-23 18:10:15 修改 · 978 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #python #深度学习

于 2023-04-23 17:54:16 首次发布
文章详细介绍了交叉熵损失函数和最小化负对数似然函数的概念，包括信息量、熵、相对熵(KL散度)等基础概念，并通过实例阐述了它们之间的关系。在单标签多分类问题中，两者等价。文章强调了理解每个知识点的重要性，以帮助读者构建清晰的理解框架。

前言：很多看似困难的事情，只要我们静下心来理清整个过程，逐一击破各个知识点，最终我们会做到看似不可能的事

一.交叉熵损失函数理解过程

1.什么是信息量

2.什么是熵

3.什么是相对熵（KL散度）

4.什么是交叉熵（由KL散度推出）

5.用例子来理解交叉熵损失函数

使用交叉熵时，其预测结果必须是概率值，所以CrossEntropy函数才会内置softmax对结果进行概率化

上面5个知识点详见下面blog：

交叉熵损失函数（Cross Entropy Loss）_SongGu1996的博客-优快云博客

二.最小化负对数似然函数理解过程

1.什么是似然函数

2.为什么要对数似然

3.最大化对数似然==最小化负对数似然

详见：一文搞懂极大似然估计 - 知乎

三.联系

1.最小化负对数似然是为了得到最可能满足当前预测结果分布的参数

2.交叉熵损失函数是为了最小化预测分布与真实分布的差距（从KL散度来理解）

3.对于单标签多分类问题，最小化负对数似然等价于交叉熵损失函数（公式推得）

这里我们只给出了单个样本的示例：

Loss=-\sum_{i=1}^{n}y_{i}log\hat{y_{i}}(此处y_{i}是真实标签 one-hot，\hat{y_{i}}是对应标签的概率值)

 因为是单标签多分类任务，我们采用的真实标签是one-hot编码，这意味着上述公式简化为

Loss=-\sum_{i=1}^{n}log\hat{y_{i}}（真实标签为1则保留该项、为0则舍去，\hat{y_{i}}是对应标签的概率值） 

可以看到上述公式与最小化负对数似然函数相同！

当模型输出没有使用softmax时，直接使用负对数似然函数！=交叉熵损失函数；另一个意思也就是，当输出使用softmax后再使用负对数似然函数，其结果等价于交叉熵损失函数

结语：

本文只是为了提供一个理解的过程，并不会给出具体解释，这样会看着很杂乱。当按照上文逐一理解每个点时，你也就理解两个函数的联系

yijie_01
关注
交叉熵损失函数和极大似然估计是什么，区别是什么
ZJQ的博客
06-07 119
交叉熵损失是极大似然估计在分类问题中的具体实现，二者在数学上等价。 交叉熵更专注于优化预测分布，而MLE是更一般化的统计框架。 选择哪种方法取决于问题类型、模型结构和理论需求。在深度学习分类任务中，交叉熵因其直观性和计算效率成为首选。
交叉熵损失函数与最大似然估计的关系理解
junfoot的博客
12-06 699
介绍分类模型训练中交叉熵损失函数与最大似然估计的关系
SoftMax函数，交叉熵损失函数与熵，对数似然函数
qq_38469553的博客
11-08 1万+
深度学习以及机器学习中都会用到SoftMax函数，交叉熵损失函数与熵，对数似然函数等一些数学方面的知识，此文作为个人学习笔记。 1.softmax函数 （1）定义 多分类问题中，我们可以使用SoftMax函数，对输出的值归一化为概率值，映射到（0，1）区间。 这里假设在进入softmax函数之前，已经有模型输出C值，其中C是要预测的类别数，模型可以是全连接网络的输出a，其输出个数为C，即输...
证明最小化负对数似然函数的学习策略等价于最小化 KL 散度的学习策略
Yhisken的博客
07-02 583
现在，让我们证明最小化负对数似然函数的学习策略等价于最小化 KL 散度的学习策略。因此，我们证明了在大样本极限下，最小化负对数似然函数的学习策略等价于最小化 KL 散度的学习策略。的常数项，因为它仅与真实数据分布有关。使用负对数似然函数和 KL 散度作为度量，我们可以分别定义这两个目标。我们知道无法直接获取真实数据的概率分布。：从真实数据分布中抽取的数据集。我们的目标是找到一组参数。我们注意到第一项是关于。确定的模型的概率分布。并且，在大样本极限下（：真实数据的概率分布。
负对数似然(negative log-likelihood)
热门推荐
silver1225的博客
03-30 7万+
negative log likelihood 文章目录negative log likelihood似然函数(likelihood function)OverviewDefinition离散型概率分布(Discrete probability distributions)连续型概率分布(Continuous probability distributions)最大似然估计(Maximum Lik...
[转] 对数似然与交叉熵
weixin_34216196的博客
05-19 1572
形式一样，推导过程与代表意义不同 from:https://zhuanlan.zhihu.com/p/27719875 在我重新抱起概率统计的课本之前，我一直都不清楚似然函数为什么是那样子的，只知道照着公式敲代码（那时候还没有tensorflow），于是出过各种糗： “啊？似然函数不就是交叉熵吗？”“机器学习中的似然函数怎么看起来跟概率统计课本里的不一样呢？”“学长学长，我把这个m...
熵、交叉熵及似然函数的关系
空山新雨后
07-31 778
文章目录熵、交叉熵及似然函数的关系1. 熵1.1 信息量1.3 熵2. 最大熵中的极大似然函数2.1 指数型似然函数推导2.2 最大熵中的似然函数推导3. 交叉熵与极大似然3.1 联系3.2 交叉熵损失函数 熵、交叉熵及似然函数的关系 1. 熵 1.1 信息量   信息量：最初的定义是信号取值数量m的对数为信息量III,即 I=log2mI=log_2mI=log2​m。这是与比特数相关的，比如一...
损失函数-负对数似然和交叉熵(Pytorch中的应用)
tcn760的博客
04-01 1万+
文章目录1、负对数似然损失函数1.1、似然1.2、似然函数1.3、极大似然估计1.4、对数似然1.5、负对数似然1.6、pytorch中的应用2、交叉熵损失函数2.1、信息量2.2、信息熵2.3、相对熵(KL散度)2.4、交叉熵2.5、pytorch中的应用3、使用总结 1、负对数似然损失函数 1.1、似然 在解释负对数似然之前，首先要了解什么是似然。似然(likelihood)和概率(probability)有着一定的区别和联系。似然和概率是针对不同内容的估计和近似。概率表达了给定参数θ\thetaθ下样
损失函数（平方损失MSE、绝对值损失MAE、负对数似然损失NLL、交叉熵损失CEL和二元交叉熵损失BCE）原理、公式调库实现与手动实现
最新发布
2301_76901778的博客
05-09 2032
在机器学习和深度学习中，损失函数（Loss Function）是衡量模型预测值与真实值之间差异的函数，指示模型在当前参数下的“代价”或“错误”程度，其最小化过程即是模型训练的核心目标。损失函数通常位于模型的输出端、反向传播前，用来指导梯度下降等优化算法更新模型参数。
机器学习(五)：极大似然估计与交叉熵损失函数
无敌小怪兽_Zz的博客
06-12 1806
在本篇文章中，我们深入探讨了逻辑回归的核心概念：极大似然估计和交叉熵损失函数。我们通过实例逐步解释了如何从这两种不同的角度来推导出逻辑回归的损失函数，并实现了整个过程的详细数学推导。   尽管这两种方法的出发点和推导过程不同，但它们都是以最大化样本数据似然性或最小化预测与真实标签之间的差异为目标，从而得到最优的模型参数。这不仅揭示了不同统计学习方法的内在联系，也让我们对逻辑回归模型有了更深入的理解。
sklearn逻辑回归 极大似然 损失_从极大似然到对数损失函数和交叉熵损失函数，以及对数损失优化取值范围...
weixin_39882271的博客
11-24 377
本文主要介绍CTR场景中的对数损失函数和交叉熵损失函数，以及对数损失函数的取值范围，如果觉得对你有帮助，文末「点赞」来一个！极大似然估计在统计学领域，有两种对立的思想学派：贝叶斯学派和经典学派（频率学派），他们之间最大的区别是如何看待被估计的参数。贝叶斯学派的观点是将其看成是已知分布的随机变量，而经典学派的观点是将其看成未知的待估计的常量。极大似然估计属于经典学派的一种。通俗来说，极大似然估计就...
人工智能与机器学习之实验1：交叉熵损失函数（对数似然损失函数）
Adoreuu的博客
03-08 2190
介绍交叉熵损失函数（对数似然损失函数）的概念，并用酒驾数据集训练对率回归模型，并用召回率、精度、F1值等指标评估其分类性能。
损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy
あずにゃん梓喵的博客
08-07 2724
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2.3 分类器及损失 2.3.1 线性分类 现在，我们将开发一种功能更强大的图像分类方法，最终将其自然地扩展到整个神经网络和卷积神经网络。线性分类方法。这种方法来主要由两部分，一个函数将输入数据映射到一个类别分数，另一个就是损失函数来量化预测的分数...
交叉熵、KL散度、极大似然和对数似然
fengye2two的专栏
04-19 2885
前言：       本文整理自https://www.cnblogs.com/silent-stranger/p/7987708.html，感谢MaHaLo的渊博知识。 1.介绍：       当我们开发一个分类模型的时候，我们的目标是把输入映射到预测的概率上，当我们训练模型的时候就不停地调整参数使...
对数损失和交叉熵损失
weixin_44441131的博客
08-20 5288
对数损失函数（Log loss function）和交叉熵损失函数（Cross-entroy loss funtion）在很多文献内是一致的，因为他们的表示式的本质是一样的。 从上述的表达式中看，两者的损失函数本质是一样的，但是这里需要注意的是通常情况下，这两种损失函数所对应的上一层结构不同，log loss经常对应的是Sigmoid函数的输出，用于二分类问题；而cross-entropy loss经常对应的是Softmax函数的输出，用于多分类问题。 所以在神经网络中精彩使用cross-entropy作
损失函数的理解：最大化概率=最小化负对数似然=交叉熵损失函数
2301_77549977的博客
01-25 416
为什么交叉熵可以做损失函数?
weixin_40479663的博客
01-12 1693
交叉熵: 一句介绍:相对熵(KL散度)是衡量两个概率分布之间的距离,等于交叉熵加上个熵,在一定条件下熵值是固定的数值,所以交叉熵可以看做等于相对熵. 说交叉熵之前先介绍相对熵，相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离，记为 这里H§是p的熵。 假设有两个分布p和q，它们在给定样本集上的交叉熵定义为： 从这里可以看出，交叉熵和相对...
从似然到交叉熵：极大似然、对数似然、负对数似然、Pytorch
qq_66736913的博客
03-28 955
此篇我们将从似然的定义出发，逐步推导出负对数似然，再与交叉熵对比。全篇说人话。同时会介绍pytorch的部分API。
从极大似然到对数损失函数和交叉熵损失函数，以及对数损失优化取值范围
Thinkgamer博客
08-19 2223
本文主要介绍CTR场景中的对数损失函数和交叉熵损失函数，以及对数损失函数的取值范围，如果觉得对你有帮助，文末「分享」「点赞」「在看」来一波，点击「阅读原文」获取精彩比例PDF下载链接。 极大似然估计 在统计学领域，有两种对立的思想学派：贝叶斯学派和经典学派（频率学派），他们之间最大的区别是如何看待被估计的参数。贝叶斯学派的观点是将其看成是已知分布的随机变量，而经典学派的观点是将其看成未知的待估计的常量。 极大似然估计属于经典学派的一种。通俗来说，极大似然估计就是利用已知的样本结果信息，反推最大概率出现这.
最小二乘法 对数似然函数 交叉熵损失函数
01-05
### 最小二乘法 最小二乘法是一种用于解决回归问题的方法，旨在通过最小化观测数据与其对应的模型预测值之间差异的平方和来找到最佳拟合直线或曲线。具体来说，对于一组含有噪声的数据点 $(x_i, y_i)$ 和一个假设函数 $f(x|\theta)$ ，其中 $\theta$ 表示待估参数，则最小二乘准则可表述为寻找使得下式达到最小化的参数向量： $$ J(\theta) = \sum_{i}(y_i-f(x_i|\theta))^2 $$ 该方法广泛应用于线性回归分析中，并且由于计算简单、易于实现等特点，在许多领域得到了广泛应用[^3]。 ```python import numpy as np from sklearn.linear_model import LinearRegression X = [[0], [1], [2]] Y = [0.9, 1.8, 3] model = LinearRegression() model.fit(X,Y) print(f"Coefficients: {model.coef_}") ``` ### 对数似然函数 对数似然函数来源于概率论中的极大似然估计理论。给定一系列独立同分布样本 ${x^{(1)},...,x^{(m)}}$ 及其标签 ${y^{(1)},...,y^{(m)}}$, 假设它们服从某个已知形式的概率密度/质量函数$p(y|x;\theta)$ , 则可以通过最大化联合概率$\prod p(y^{(i)}|x^{(i)};\theta)$ 来获得最优参数估计值。然而直接处理连乘项较为复杂，因此转而考虑取自然对数值后的表达式$L=\sum log(p(y^{(i)}|x^{(i)};\theta))$. 此外还存在一种特殊情况——当事件发生次数较多时，泊松过程下的负对数似然近似等于高斯分布下的二次型结构，这解释了为什么有时会看到两者间存在一定联系[^2]. ### 交叉熵损失函数 交叉熵最初来自于信息论，用来量化两个离散随机变量之间的距离度量。在机器学习背景下，特别是分类任务里，常用作评估模型输出（通常是经过softmax转换后的概率分布）与真实类别标记间的差距大小。公式如下所示: $$ H(p,q)=-\sum_xp(x)\cdot ln(q(x)) $$ 此处$q(x)$代表由算法产生的预测结果；而$p(x)$则是实际发生的事实情况所对应的真实分布。值得注意的是，如果采用sigmoid激活单元构建神经网络并配合使用二元交叉熵作为代价函数的话，那么最终求导过程中将会出现类似于逻辑斯特回归里的S形曲线特征[^4]。 ### 区别与联系 - **区别** - 最小二乘适用于连续型因变量建模场景； - 极大似然侧重于从统计角度出发寻求最有可能产生现有观察数据集的那个未知参 数组合方案； - 交叉熵更多见诸于多分类或多标签识别场合之中。 - **联系** 所有上述提到的技术手段都属于广义上的优化策略范畴之内，即试图调整内部权重系数直至整体性能指标趋于收敛稳定状态为止。另外，在某些特定条件下，比如正态分布假定成立的情况下，最小二乘实际上等价于最大似然估计的一种特例表现形式[^5]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值