最大似然估计，交叉熵，相对熵(KL散度)

最新推荐文章于 2025-06-30 11:26:33 发布
原创 最新推荐文章于 2025-06-30 11:26:33 发布 · 3.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在机器学习中，如何利用交叉熵损失函数进行模型训练。通过最小化交叉熵，实际上是在最大化对数似然，以估计分类问题中未知的真实分布。以逻辑回归为例，解释了如何通过模型估计P'来逼近真实分布P，并介绍了相对熵（KL散度）作为衡量两个分布差异的指标。最终，我们看到最小化相对熵等价于最小化交叉熵损失，从而优化模型参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在机器学习中，选择损失函数时，通常会遇到交叉熵的概念，也就是交叉熵损失函数，那么我们知道最小化交叉熵损失函数等价于最大化对数似然，那么最小化交叉熵损失函数其含义是怎么样本的？我们知道针对分类问题，我们并不知道Y的真实分布，因此需要通过模型来估计Y的真实分布，以逻辑回归为例，假设Y的真实分布为：P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常q=11+exp(−xβ), 我们需要做的就是估计参数β,使得P和P’之间的差异尽可能小，描述两个分布差异大小的量我们可以使用相对熵 即 E

最低0.47元/天 解锁文章

200万优质内容无限畅学
AI数学基础：信息论核心概念（熵、交叉熵、KL散度、互信息等）深度解析
专注Java开发与国产数据库技术分享，涵盖达梦DM8/OceanBase/GaussDB核心原理与实战，兼及DeepSeek大模型部署、YOLOv11训练等AI技术，为开发者提供从基础到进阶的技术干货。
06-10 693
AI 信息熵（Entropy）是信息论中最基础且核心的概念，由克劳德·香农在1948年提出，用于量化信息的不确定性。交叉熵（Cross Entropy）衡量两个概率分布间的差异程度。KL散度可以理解为"使用分布Q近似分布P时，额外需要的平均信息量"。它不是真正的距离度量（因为不对称），但在衡量分布差异时极为有用。互信息可以理解为"知道Y的值后，X的不确定性减少的量"，或者"X和Y共享的信息量"。它比相关系数更通用，能捕捉非线性关系。
关于最大似然与交叉熵损失函数和最小二乘法的思考
luchi007的专栏
10-07 9655
最大似然估计与logistic交叉熵损失函数以及线性回归过程中的最小二乘法的关系理解
交叉熵与相对熵
09-26 192
　　　　熵的本质是香农信息量()的期望。 　　　　现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 　　　　按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 　　　　如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i...
对比 交叉熵损失（Cross-Entropy Loss）和KL散度（Kullback-Leibler Divergence）
最新发布
chwei20002005的博客
06-30 945
对比 交叉熵损失（Cross-Entropy Loss）和KL散度（Kullback-Leibler Divergence）
最大似然估计、KL散度和交叉熵
幻世
09-18 2340
深度学习建立在概率论的基础上，本质是估计数据集(具有随机误差)的分布。 极大似然估计 极大似然估计是点估计的一种，我们定义一个似然函数来作为对真实分布的估计，取似然程度最大的一组参数作为估计值。根据大数定理，当数据量足够大时，其差为0。 给定分布P(x;θ)P(x; \boldsymbol{\theta})P(x;θ)，从中取一组样本X1,X2,X3,...,XnX_1, X_2, X_3, .....
最大似然估计_交叉熵和最大似然估计
weixin_39648469的博客
12-08 408
我们正在努力训练神经网络模型进行分类。我们设计网络深度，激活函数，设置所有超参数，然后选择损失函数。正如我们所说的，我们使用交叉熵损失函数，因为它适合于分类。熵是随机变量不确定性的变量。如果我们有一个随机变量X，我们有概率质量函数p(X)= PR [ X = x ]，我们定义随机变量X的熵为H(X) 现在，我们怎样才能知道这个值H(X)对应X的不确定性？如果有一个x的概率为1。如果我们把它放在等式...
交叉熵 相对熵
专注计算机体系结构
03-24 437
（1）熵的本质是香农信息量()的期望。 （2）现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 （3）如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自分布p，所以期望H(p,q)中概率是p(i)。H(p,q)我们称
深度学习中的熵、交叉熵、相对熵（KL散度）、极大释然估计之间的联系与区别
m0_59156726的博客
04-24 2061
熵的最初来源于热力学。在热力学中，熵代表了系统的无序程度或混乱程度，也可以理解为系统的热力学状态的一种度量。后来被广泛引用于各个领域中，如信息学、统计学、AI等，甚至社会学当中。接下来将大家领略一下深度学习中熵的应用。
详解熵， 交叉熵，KL散度，互信息
jiede1的博客
06-06 1716
首先介绍几个信息论中的概念。 熵， 表示某个概率分布的不确定度： H(x)=−∑p(x)logp(x) H(x) = - \sum p(x) log p(x) H(x)=−∑p(x)logp(x) 联合熵，两个变量联合分布的不确定度： H(x,y)=∑∑p(x,y)logp(x,y) H(x,y) = \sum \sum p(x,y) log p(x,y) H(x,y)=∑∑p(x,y)logp(x,y) 条件熵，在X确定后，Y的不确定度： H(Y∣X)=∑p(xi)H(Y∣X=xi)=∑∑p(x,y)
交叉熵和相对熵(KL散度), 极大似然估计求loss, softmax多分类
赤道6号转向发动机的博客
02-20 897
看了一篇好文章, 讲解交叉熵和相对熵, 之前就想弄懂, 今天仔细研究了一下. 文章链接: 交叉熵（Cross-Entropy） 信息量 定义事件X=x0X=x_0X=x0​发生时的信息量为： 定义事件X=x0X=x_0X=x0​发生时的信息量为： I(x0)=−log(p(x0))I(x_0)=−log(p(x_0))I(x0​)=−log(p(x0​)) 一个事件发生的概率越大，则它发生时所...
交叉熵和相对熵
weixin_68515432的博客
08-16 793
交叉熵通常用于衡量预测分布与真实分布之间的差异，而相对熵则衡量了从一个分布到另一个分布的信息损失。交叉熵（Cross-Entropy）和相对熵（Kullback-Leibler Divergence，也称为KL散度）是信息论和机器学习中常用的两个概念，用于衡量概率分布之间的差异。其中，p(x) 是真实分布（例如，标签的实际分布），q(x)$是预测分布（例如，模型的预测分布）。在机器学习中，交叉熵通常用于度量两个概率分布之间的差异，特别是在分类任务中衡量预测分布与真实分布之间的差异。
熵 交叉熵 相对熵
weixin_30396699的博客
12-03 131
1.熵（Shann Entropy） 熵又叫信息熵，香农熵，反映了一个系统的有序（无序）的程度。整个世界都是倾向于从有序到无序，从稳态到混乱，熵值从低到高。设随机变量$X$的取值为$X={x_0,x_1,x_2,......x_n}$，对应概率表达为$p(X=x_i)$，则$X$的熵可表示为： $H(X) = \sum_{i=1}^np(x_i)logp(x_i)$ 2.相对熵（...
交叉熵（Cross-Entropy）与最大似然
__kingzone__的专栏
07-18 3973
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈p(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为：  I(x0)=−log(p(x0))I(x0)=−log(p(x0))，可以理解为...
KL散度与极大似然
ccbka的博客
11-23 4490
极大似然估计是一种概率论在统计学中的应用，建立在极大似然原理的基础上，极大似然原理的直观解释是：一个随机试验如有若干个可能的结果A、B、C、…，若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大，那么就取参数估计，使A出现的概率最大。 设随机变量Y具有概率密度函数，θ是参数向量。当我们得到Y的一组独立观测值时，定义θ的似然函数为。极大似然法是采用使L(θ)最大的
交叉熵和相对熵（KL散度）
jzwei023的博客
04-07 675
信息量 熵 当一个事件发生的概率为 P(x)，那么它的信息量是 -log(p(x))。 那么熵就是信息量的期望。假如事件X有n种可能x1，x2，...，xn，发生xi的概率是p（xi），那么熵H（X）定义如下： 对于0-1分布问题（二项分布的特例），熵的计算方法可以简化为如下算式： 相对熵（KL散度） 相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information d
交叉熵和相对熵(KL散度)
harry的博客
06-27 609
说交叉熵之前先介绍相对熵，相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离，记为DKL(p||q)DKL(p||q)D_{KL}(p||q) DKL(p||q)=∑x∈Xp(x)logp(x)q(x)=∑x∈Xp(x)log p(x)−∑x∈Xp(x)log q(x)=−H(p)−∑x∈Xp(x)log q(...
熵，交叉熵，相对熵
weixin_43929195的博客
10-26 896
机器学习中熵是基础中的基础，又是必不可少的。本文对自己已经学过的知识做一个简单的总结。 熵:熵在物理学中表示”一个系统内在的混乱程度“。比如一间房子如果没人打扫会越来越乱，课桌上的书会越来越乱等等。我们说宇宙终究会归于热寂，也是根据热力学第二定律，即作为一个“孤立”的系统，宇宙的会熵随着时间的流异而增加，由有序向无序，当宇宙的熵达到最大值时，宇宙中的其他有效能量已经全数转化为热能，所有物质温度达到热平衡。这种状态称为热寂。这样的宇宙中再也没有任何可以维持运动或是生命的能量存在。 信息熵:信息熵是香农..
似然函数与最大似然估计、交叉熵概念与机器学习中的交叉熵函数
记忆碎片的博客
12-22 4010
文章目录似然函数与最大似然估计似然的概念似然函数最大似然估计伯努利分布伯努利分布下的最大似然估计高斯分布高斯分布下的最大似然估计信息量、熵、相对熵、交叉熵、机器学习中的交叉熵信息量熵相对熵（KL散度） 似然函数与最大似然估计 似然的概念 “似然”用通俗的话来说就是可能性，极大似然就是最大的可能性。 似然函数 似然函数是关于统计模型中的一组概率的函数(这些概率的真实值我们并不知道)，似然函数的因变量...
交叉熵损失和KL散度的区别
12-05
交叉熵损失和KL散度都是用于衡量两个概率分布之间差异的度量方法，但它们有一些关键的区别： 1. 交叉熵损失： - 用于衡量预测概率分布与...在实际应用中，交叉熵损失因其计算简单且与最大似然估计等价而更常被使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值