最小二乘，极大似然，交叉熵

最新推荐文章于 2025-02-06 22:19:20 发布
原创 最新推荐文章于 2025-02-06 22:19:20 发布 · 252 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客探讨了人工智能模型与人脑模型之间的差距，通过最小二乘法、极大似然估计和交叉熵等概念进行解释。文章指出，这些数学工具用于量化模型的误差和优化，以更接近人脑的决策过程。交叉熵作为衡量信息量和预测准确性的指标，揭示了模型预测的不确定性。此外，KL散度被用来评估模型熵之间的差异，进一步刻画模型的相似性。

评估模型与人脑模型的差距

最小二乘：累加错误的数值（平方而不是绝对值是为了方便求导，1/2是为了方便化简）在这里插入图片描述
极大似然估计：x1,x2—xn是人脑模型 W,b是网络模型 求使P最大的W,b（极大似然） P值越大 越与人脑模型接近
在这里插入图片描述
log改连乘为连加 不影响单调性
在这里插入图片描述
改max为min- 求极小值
在这里插入图片描述

交叉熵：
中国1%赢球的信息量6.6 法国99%赢球的信息量0.01
比利时和阿根廷都是1
左边的熵 = 0.5+0.5 =1 右边的熵 =0.01+0.06 = 0.07
在这里插入图片描述
（KL散度、相对熵的定义）用于比较两个模型熵的差距
在这里插入图片描述

最小二乘法、最大似然估计、交叉熵、贝叶斯
dongfeng10086的专栏
11-29 1155
备注：对这些的理解主要是在机器学习领域 什么是最小二乘法？ 自己理解的最小二乘法就是各项差值的平方和，(a-x)²+(b-x)²+(c-x)²......，具体可以看下这个资料，介绍的很详细 那问题来了，这个和 MSE 有什么区别？只是一个是平方和，一个是平方和的平均吗？？我看有的同学说，MSE 是加权的最小二乘法。 什么是最大似然估计？ 我们以最经典的抛硬币为例，一般情况是这样，我们知...
最小二乘法，极大似然估计，交叉熵
不甘平凡的码农
01-11 620
我们在训练神经网络的时候，其实就是用神经网络中的各种模型去和人脑中的这个模型去匹配，匹配的方式就是调整图像尽量和它重合。我们想用神经网络的模型去逼近人脑中的概率模型，和这个极大似然估计的过程就非常像。左边是人脑模型，右边是神经网络模型，人脑模型我们对猫有一个明显的识别边界，神经网络中总会有些偏差，我们想让神经网络的模型和我们人脑中的模型尽量一致。极大似然估计，本质上就是在计算神经网络里面的概率模型的似然值，找到那个极大似然值，这个就应该是最接近现实情况的那个概率模型。比较两种概率模型的差距的方法。
交叉熵代价函数（作用及公式推导）
热门推荐
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
最小二乘，交叉熵，极大似然，梯度下降，概率分布，凸优化，正则化
qq_42891453的博客
11-05 425
最小二乘，极大似然，交叉熵是三种损失函数，函数里面有很多未知参数，神经网络就是要最小化损失函数，也就是求满足损失函数最小的那些未知参数（比如极大似然估计就是已知观察数据，反去估计概率密度函数中的未知参数），在最小二乘，极大似然，交叉熵这些方法定义出损失函数时，由于未知参数太多，使得单纯利用求导令导数等于零然后去求极值点时间复杂度过高，所通常会用梯度下降法去代替求导令导数等于零的方法去慢慢逼近极值。当这些未知参数有条件限制时，可以转换成条件极值问题，即可以用拉格朗日求极值方法去求解，同样也可以用梯度下降去代替
【深度学习数学基础】构造损失函数的三类思路：最小二乘法、最大似然估计、交叉熵
糖炒栗子
12-04 505
观测样本集的似然（联合概率）取得最大值时参数的值作为参数估计值的方法称为最大似然估计。观测样本集的似然函数就是样本集的联合概率Lθ;DPD;θ∏i1NPxi;θL(\theta;\theta)Lθ;DPD;θi1∏N​Pxi​;θ最优的θ\thetaθ值是令观测样本发生概率最大的值，也就是令似然函数取得最大。参数θ`\thetaθ的最大似然估计值可以写为θMLarg⁡max⁡θLθ;Darg⁡。
最小二乘→极大似然估计→深度学习loss
MengYa_Dream的博客
03-24 1640
最小二乘→极大似然估计→深度学习loss
最小二乘损失与二元交叉熵损失
最新发布
02-20
### 最小二乘损失与二元交叉熵损失的区别及应用场景 #### 定义与公式 最小二乘损失（Mean Squared Error, MSE），通常表示为： \[ L_{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 \] 其中 \( y_i \) 是...
关于最大似然与交叉熵损失函数和最小二乘法的思考
luchi007的专栏
10-07 9810
最大似然估计与logistic交叉熵损失函数以及线性回归过程中的最小二乘法的关系理解
为什么说最小二乘法和最大似然估计是等价的
weixin_46359306的博客
04-22 2644
在接触机器学习算法时，无法避免的就是理解模型训练的过程，即模型为什么能够从历史数据中学习到知识，其实学习的过程就是模型训练的过程，也是模型寻找参数最优解的过程。这个过程有两种求取方式，一种称为最小二乘法，另一种称为最大似然估计，而这两种概念及其容易混淆，尤其对初学者而言，搞不懂这两个概念，很容易从入门到放弃。我接触机器学习和深度学习也有几年了，并且一直从事相关工作，前后阅读相关书籍不下于10本，每本书都是用大量数学公式来解释这两种方法，越高约复杂，我也是直到最近才真正弄明白两者到底啥意思，为什么说是等价..
最小二乘法，极大似然估计，交叉熵的公式推导
weixin_43726202的博客
03-12 542
最小二乘法，极大似然估计，交叉熵推导公式
为什么交叉熵的梯度公式跟最小二乘法一样？
Rover的博客
10-22 436
引言 之前一致不明白，为什么交叉熵损失函数在进行梯度计算的时候的公式跟最小二乘是一致的。抱着这样的疑问，我对交叉熵损失函数进行的偏微分，进行验证。 正文 最小二乘法损失函数 J(θ)=12m∑im(h(xi)−yi)2J(\theta)=\frac{1}{2m}\sum_i^m(h(x^i)-y^i)^2J(θ)=2m1​i∑m​(h(xi)−yi)2 此时h(x)=wx+bh(x)=wx+bh(x)=wx+b，所以 ∂J(θ)∂θj=1m∑im(h(xi)−yi)xji\frac{\partial J(\
二次代价函数（最小二乘法）与交叉熵函数的对比（219）
Dontla的博客
09-19 758
参考文章：最小二乘与交叉熵代价函数的区别（作用及公式推导）
梯度下降、牛顿法、极大似然、交叉熵、最小二乘之间的区别和联系
⛄
04-04 634
分类 看到这个问题其实我们首先要把这些算法分一下类： 极大似然、交叉熵、最小二乘是用来计算损失（loss）的 梯度下降、牛顿法是用来优化的 深度学习训练的时候每一轮都会计算输出loss然后根据梯度下降法进行优化 公式 最小二乘法 交叉熵 牛顿法 极大似然 区别 最小二乘法直接使用极值，将极值作为最小值。其假定有二：1，损失函数中极值就是最小值。2，损失函数具有极值。 梯度下降是用迭代的方法求出局部最优解 牛顿法需要求逆，还要求目标函数f(x)二阶可导。 ...
学习交叉熵
weixin_56368033的博客
05-02 643
文章目录前言损失函数1.最小二乘法2.极大似然估计法3.交叉熵 前言 交叉熵的含义以及公式的推导 学习内容来源于：B站UP主：王木头学科学 损失函数 梯度下降是训练神经网络的基本方法，求解的梯度就是损失函数的梯度。 理解的损失函数是：神经网络中判断的标准和现实世界中判断标准相差多少的定量表达式（两个概率统计模型） 1.最小二乘法 想要比较两个概率统计模型最直接的方法就是比较xi和yi两个值的差距大小 min∑i=1n∣xi−yi∣, min\sum_{i = 1}^{n}\left|xi-yi\rig
损失函数（最小二乘法/极大似然估计/交叉熵）
maomao12123434的博客
02-06 2037
从公式发现，交叉熵和极大似然估计表达式极其的一致。所以也许极大似然估计和交叉熵就是一个，也算是殊途同归！！！参考：【“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”】https://www.bilibili.com/video/BV1Y64y1Q7hi?【“交叉熵”如何做损失函数？打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”】https://www.bilibili.com/video/BV15V411W7VB?
两个角度解释为什么逻辑回归（sigmoid, softmax）分类的损失函数用交叉熵而不用最小二乘
JayShaun的博客
07-04 6704
H从梯度消失角度讲从分类和回归任务的区别讲 从梯度消失角度讲 sigmoid:σ(z)=11+e−zsigmoid: \sigma(z) = \frac{1}{1+e^{-z}}sigmoid:σ(z)=1+e−z1​ 如图所示，sigmiod函数在z值很大或很小的时候几乎不变，也就是梯度接近零，如果用最小二乘不会解决这个梯度消失问题，故不选择最小二乘损失。 那为什么交叉熵损失却可以呢？因为-l...
关于神经网络中的代价函数——交叉熵的由来
joy_YuanQL的博客
07-30 1万+
这段时间一直在看有关于神经网络的教程，在之前看过的其他一些机器学习算法，例如logistics回归等都是用C =(y− a)2/2函数做cost function，但是在神经网络算法中，有些教程是使用交叉熵作为代价函数的（关于斯坦福大学的深度学习教程依旧使用的是C =(y− a)2/2函数做cost function），这个让我很郁闷，于是我就问了师兄，然后没有然后。。。没有搞懂。我就在网上找
最小二乘、ridge、lasso的概率论原理
Catherine_985的博客
12-12 1433
最小二乘、ridge、lasso的概率论原理 https://www.zhihu.com/question/20447622
极大似然估计与最小二乘法
最后半支烟的博客
08-26 1832
原文地址：http://banzhiyan.net/index.php/2015/07/29/mle_lms/概率和似然值概率和似然值在形式上非常像，也非常容易混淆，它们是有关联但是完全不一样的概念。似然这个文言就非常难以理解，所以从一个例子中理解这是个啥。 有一个箱子里面有3个红球，2个黑球，如果有放回地取5个球，那么取到”红红红黑黑”的概率是多少。这个概率的计算还是很简单的： p=0.6∗0
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值