理解交叉熵和最大似然估计的关系

最新推荐文章于 2025-07-05 10:11:49 发布
最新推荐文章于 2025-07-05 10:11:49 发布
阅读量8.4k 收藏 9
点赞数 5
CC 4.0 BY-SA版权
分类专栏： python 文章标签： 交叉熵 最大似然估计 损失函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/elite666/article/details/83850786

理解交叉熵作为神经网络的损失函数的意义：

交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近，即拟合的更好。

CrossEntropy=H(p)+DKL(p∣∣q)Cross Entropy= H(p)+DKL(p||q)CrossEntropy=H(p)+DKL(p∣∣q)

当p分布是已知，则熵是常量；于是交叉熵和KL散度则是等价的。

最小化KL散度和模型采用最大似然估计进行参数估计又是一致的。（可以从公式推导上证明）

这也是很多模型又采用最大似然估计作为损失函数的原因。

透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
捡起一束光的博客
12-27 3831
在机器学习中，我们经常会遇到极大似然估计(Maximum Likelihood Estimation, MLE)，本文将带你好好理解这个概念。极大似然估计的依据：概率最大的事件最有可能发生，或者说真实发生的事情总是概率最大的...
深度学习中的熵、交叉熵、相对熵（KL散度）、极大释然估计之间的联系与区别
m0_59156726的博客
04-24 2069
熵的最初来源于热力学。在热力学中，熵代表了系统的无序程度或混乱程度，也可以理解为系统的热力学状态的一种度量。后来被广泛引用于各个领域中，如信息学、统计学、AI等，甚至社会学当中。接下来将大家领略一下深度学习中熵的应用。
关于最大似然与交叉熵损失函数和最小二乘法的思考
luchi007的专栏
10-07 9658
最大似然估计与logistic交叉熵损失函数以及线性回归过程中的最小二乘法的关系理解
交叉熵与极大似然估计的关系
夏未眠秋风起的博客
10-03 316
看了博客记录一下笔记 图片来自https://blog.youkuaiyun.com/u012505617/article/details/108753869
交叉熵的理解
最新发布
abc2812365481的博客
07-05 329
交叉熵衡量的是两个概率分布之间的“距离”；在机器学习中，是分类任务的标准损失函数；强调惩罚低置信预测，即当模型对真实类别的预测概率趋近于 0 时，损失趋近于。%24c%24。
交叉熵和极大似然估计的再理解
zenRRan的博客
07-31 720
来自：纸鱼AI对于一个多分类问题(假设为类)，有数据集。我们希望建立模型去建模概率分布，模型参数为。我们使用损失函数评估模型的好坏，可以采用两种方式来导出。极大似然估计 由于是多分类问题...
交叉熵和最大似然估计之间的关系
liguiyuan的博客
09-23 8193
在分类的网络模型中，我们常常使用交叉熵作为损失函数，今天来梳理一下这些知识点。 1. 交叉熵 交叉熵作为损失函数的实际意义，这里引用这篇博文（https://blog.youkuaiyun.com/elite666/article/details/83850786）的一句话： 交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近，即拟合的更好。 交叉熵计算公式： 式中 x为一个离散随机变量，p(xj)表示第j类的概率。 假设同一随机变量...
交叉熵与极大似然估计
qq_36835991的博客
12-23 539
在机器学习中常用到交叉熵损失函数，其来源于信息论，用以描述两个两个分布之间的差异。为便于理解，下面描述几个相关定义。假设X为一个离散随机变量，则X=x0的自信息（可理解为X=x0发生所携带的信息）为： 单自信息只处理单个输出，为描述整个概率分布的不确定性总量，我们定义熵： 其表示遵循该分布的事件所产生的期望信息量总和（不确定性总量越大，则信息总量越大）。假设对于同一随机变量X,我们有两个单独的概率...
最大似然估计与损失函数
jediael_lu的专栏
07-14 7543
关于最大似然估计法的基本原理请参考《概率论与数理统计》P152或参考《深度学习》chpt 5.5 文章目录1、最大似然估计的一般理论2、最大似然估计的性质3、最大似然估计推导逻辑回归的损失函数4、线性回归的损失函数5、小结 1、最大似然估计的一般理论 我们希望可以有些准则可以让我们从不同的模型中得到特定函数作为好的估计。 最常用的准则是最大似然估计。 我们考虑一组含有m个样本的数据集X={x(1),...,x(m)}X=\{x^{(1)},...,x^{(m)}\}X={x(1),...,x(m)}，独立的
机器学习中的极大似然估计(MLE)、最大后验估计(MAE)
热门推荐
LIsaWinLee的博客
06-19 3万+
极大似然估计和最大后验概率估计的相关知识
Logistic Regression（逻辑回归）、Maximum Likelihood Estimatio（最大似然估计）
梁小憨憨的博客
12-02 1248
梯度下降法通过计算损失函数（对数似然的负数）对模型参数的梯度来更新参数，以减小损失。是一种常用的统计方法，用于估计模型参数，使得在给定数据下，模型的概率最大化。具体来说，假设我们已知数据的分布类型（比如高斯分布、伯努利分布等），但我们并不知道分布的具体参数。逻辑回归模型的似然函数是基于每个训练样本的预测概率和真实标签的结合。，因为对数函数是单调递增的，因此最大化似然函数和最大化对数似然函数是等价的。损失函数的值越小，模型的预测越准确。由于逻辑回归是基于最大似然估计的，因此它的损失函数通常称为。
最大似然估计_交叉熵和最大似然估计
weixin_39648469的博客
12-08 409
我们正在努力训练神经网络模型进行分类。我们设计网络深度，激活函数，设置所有超参数，然后选择损失函数。正如我们所说的，我们使用交叉熵损失函数，因为它适合于分类。熵是随机变量不确定性的变量。如果我们有一个随机变量X，我们有概率质量函数p(X)= PR [ X = x ]，我们定义随机变量X的熵为H(X) 现在，我们怎样才能知道这个值H(X)对应X的不确定性？如果有一个x的概率为1。如果我们把它放在等式...
交叉熵到底是什么——交叉熵与极大似然估计法的联系与区别
weixin_48799576的博客
10-02 1933
如何深入理解交叉熵损失函数的由来
交叉熵与极大似然:
独钓寒江雪
08-26 883
KL散度、交叉熵与极大似然: https://www.cnblogs.com/jenny1000000/p/7745458.html KL散度、交叉熵与极大似然: http://www.360doc.com/content/17/1105/09/31747150_701004922.shtml  
机器学习—交叉熵代价函数—极大似然估计推导
柳成荫
08-09 2488
一、极大似然估计 首先得知道什么是极大似然估计 吴恩达老师在公开课直接给出交叉熵代价函数并简单解释了交叉熵代价函数作为逻辑回归代价函数的合理性，在周志华老师的《机器学习》教材中，从极大似然估计角度详细证明了交叉熵代价函数的推导。 二、逻辑回归模型 周志华老师从模型开始详细的介绍了逻辑回归的由来与其实质。 加入Sigmoid函数后得出 而在经过进一步的计算y=0和y=1时的概率 最终某样本属于...
【机器学习】分别从极大似然和熵的角度来看交叉熵损失
Mr_health的博客
07-28 539
从极大似然的角度 从熵的角度 假设样本为X，其对应的类别为Y，P(Y|X)就是给定X判断为Y的后验概率。我们希望每一个样本X被正确预测到相应类别Y的概率都最大，即max P(Y|X)，那么所有样本正确预测概率相乘最大化就是我们所期望的，因此采用极大似然的原理 Step1：构...
交叉熵损失函数和似然估计_交叉熵和极大似然估计的再理解
weixin_30727701的博客
02-22 609
对于一个多分类问题(假设为 类)，有数据集 。我们希望建立模型去建模概率分布 ，模型参数为 。我们使用损失函数评估模型的好坏，可以采用两种方式来导出。极大似然估计由于是多分类问题，故样本空间上的 满足某个Categorical distribution。由Categorical distribution定义知，其中， 是分布的参数，也是分布的输出概率向量。 是one-hot编码的标签向量。...
极大似然估计与交叉熵
qq_34372112的博客
09-09 3327
前言 关于极大似然估计和交叉熵我就不介绍了，有兴趣的可以看我其他的博客，我这里只讲他们的联系。 公式 现有一个真实的分布 P(x)P(x)P(x)，现在为了减小模型的概率分布 Q(x;θ)Q(x;\theta)Q(x;θ) 与真实分布P之间的差异，使用最大似然： θMLE=argmax⁡∏i=1mQ(xi;θ)=argmax⁡∑i=1mlog⁡Q(xi;θ)≈argmax⁡Ex∼P(x)[log⁡...
极大似然估计和交叉熵
qq_44309220的博客
08-05 1227
对于一个多分类问题 (假设为KKK类), 有数据集D={(xi,yi)∣i}D={(xi​,yi​)∣i}. 我们希望建立模型去建模概率分布pθ(y∣x)pθ​(y∣x), 模型参数为θ\thetaθ.我们使用损失函数评价模型的好坏, 可以采用两种方式来导出.最小化负对数似然函数和最小化交叉熵在形式上虽然看起来是一样的, 但是公式背后的含义不同....
最大似然函数推导交叉熵
04-01
<think>好的，用户想了解如何从最大似然估计推导出交叉熵损失函数，特别是数学证明方面的内容。我需要先回忆一下相关知识，确保步骤正确。 首先，最大似然估计（MLE）的基本思想是找到参数使得观测数据出现的概率最大。在分类问题中，假设数据服从某个分布，比如多项分布。对于分类模型，比如逻辑回归，输出通常是概率分布，而真实标签可以表示为one-hot编码。 接下来，交叉熵损失函数衡量的是两个概率分布之间的差异。在机器学习中，通常一个是模型预测的概率分布，另一个是真实的分布。推导的关键在于将MLE的似然函数转化为对数似然，然后与交叉熵的形式进行比较。 可能需要从定义出发，写出似然函数，取对数，然后通过简化式子，发现其与交叉熵的关系。需要注意的是，交叉熵的公式是负的对数似然的期望，而损失函数需要最小化，因此取负号。 另外，用户提供的引用中提到MLE和交叉熵的等价性，需要明确这种等价性是如何在数学上体现的。可能需要具体例子，比如二分类或多分类的情况，来展示推导过程。 还要注意数学符号的正确性，比如概率分布的对数，求和与期望的关系，以及如何将最大化似然转换为最小化损失函数。可能涉及到的步骤有：定义模型输出概率、构建似然函数、对数转换、求和变为平均（即期望）、添加负号转化为最小化问题。 最后，确保解释清晰，步骤详细，适合机器学习或深度学习的学习者理解数学基础。同时，生成的相关问题要围绕推导过程、应用场景、与其他损失函数的比较等，帮助用户深入思考。</think>### 最大似然估计推导交叉熵损失函数的数学证明 #### 1. **最大似然估计（MLE）的定义** 最大似然估计的目标是找到参数 $\theta$，使得观测数据 $D$ 出现的概率最大。对于独立同分布数据，似然函数为： $$ L(\theta) = \prod_{i=1}^N p(y^{(i)} | x^{(i)}; \theta) $$ 其中 $p(y|x;\theta)$ 是模型预测的条件概率，$N$ 是样本数量。 --- #### 2. **分类问题的建模** 以多分类问题为例，假设真实标签 $y$ 是 one-hot 编码（例如 $y^{(i)} \in \{0,1\}^K$），模型输出的概率分布为 $\hat{y}^{(i)} = [\hat{y}_1^{(i)}, \dots, \hat{y}_K^{(i)}]$。 根据多项分布，单个样本的似然为： $$ p(y^{(i)} | x^{(i)}; \theta) = \prod_{k=1}^K \hat{y}_k^{(i) y_k^{(i)}} $$ --- #### 3. **对数似然函数** 为简化计算，对似然函数取对数： $$ \ln L(\theta) = \sum_{i=1}^N \sum_{k=1}^K y_k^{(i)} \ln \hat{y}_k^{(i)} $$ 最大化对数似然等价于最小化负对数似然： $$ -\ln L(\theta) = -\sum_{i=1}^N \sum_{k=1}^K y_k^{(i)} \ln \hat{y}_k^{(i)} $$ --- #### 4. **交叉熵的定义** 交叉熵衡量两个分布 $y$（真实分布）和 $\hat{y}$（预测分布）之间的差异： $$ H(y, \hat{y}) = -\sum_{k=1}^K y_k \ln \hat{y}_k $$ 对 $N$ 个样本取平均后，得到交叉熵损失函数： $$ \mathcal{L} = -\frac{1}{N} \sum_{i=1}^N \sum_{k=1}^K y_k^{(i)} \ln \hat{y}_k^{(i)} $$ --- #### 5. **等价性证明** 通过对比步骤3和步骤4可得： - **负对数似然**的求和形式与**交叉熵损失**的求和形式完全一致。 - 在机器学习中，最小化交叉熵损失等价于最大化似然函数，因此两者在数学上等价[^1][^2]。 --- #### 6. **特例：二分类问题** 对于二分类（$K=2$），假设 $\hat{y}_1 = \sigma(z)$（sigmoid函数输出），则交叉熵简化为： $$ \mathcal{L} = -\frac{1}{N} \sum_{i=1}^N \left[ y^{(i)} \ln \sigma(z^{(i)}) + (1-y^{(i)}) \ln (1-\sigma(z^{(i)})) \right] $$ 这与逻辑回归的负对数似然一致。 --- ### 关键结论 - **交叉熵损失函数是负对数似然函数的特例**，通过最小化交叉熵，模型参数 $\theta$ 被优化以最大化数据出现的概率。 - 这种等价性解释了为什么交叉熵在分类任务中比均方误差（最小二乘）更有效，因为它直接匹配概率分布的比较需求。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值