最小二乘法，极大似然估计，交叉熵

最新推荐文章于 2025-11-24 18:29:32 发布
原创 最新推荐文章于 2025-11-24 18:29:32 发布 · 594 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法

比较两种概率模型的差距的方法

最小二乘法

带有绝对值，在定义域上不是全程可导的，所以说通常办法就是对他们求平方。

为什么叫最小二乘法：平方就是乘2次，在这个式子中找最小的值，称之为最小二乘法。

这个最小值找到了，就是相当于神经网络中和人脑中判断猫的模型最相近的那个结果了

缺点：用这个作为损失函数非常麻烦，不适合梯度下降。

极大似然估计

似然值是真实的情况已经发生，我们假设他有很多模型，在某个概率模型下发生这种情况的可能性

当我们知道事情发生的结果，去反推产生这个结果的概率模型的时候，往往就会用到最大似然估计法。

神经网络里面的概

最低0.47元/天 解锁文章
【深度学习数学基础】构造损失函数的三类思路：最小二乘法、最大似然估计、交叉熵
糖炒栗子
12-04 485
观测样本集的似然（联合概率）取得最大值时参数的值作为参数估计值的方法称为最大似然估计。观测样本集的似然函数就是样本集的联合概率Lθ;DPD;θ∏i1NPxi;θL(\theta;\theta)Lθ;DPD;θi1∏N​Pxi​;θ最优的θ\thetaθ值是令观测样本发生概率最大的值，也就是令似然函数取得最大。参数θ`\thetaθ的最大似然估计值可以写为θMLarg⁡max⁡θLθ;Darg⁡。
最小二乘法、最大似然估计、交叉熵、贝叶斯
dongfeng10086的专栏
11-29 1153
备注：对这些的理解主要是在机器学习领域 什么是最小二乘法？ 自己理解的最小二乘法就是各项差值的平方和，(a-x)²+(b-x)²+(c-x)²......，具体可以看下这个资料，介绍的很详细 那问题来了，这个和 MSE 有什么区别？只是一个是平方和，一个是平方和的平均吗？？我看有的同学说，MSE 是加权的最小二乘法。 什么是最大似然估计？ 我们以最经典的抛硬币为例，一般情况是这样，我们知...
最小二乘，极大似然，交叉熵
highoooo的博客
08-11 246
评估模型与人脑模型的差距 最小二乘：累加错误的数值（平方而不是绝对值是为了方便求导，1/2是为了方便化简） 极大似然估计：x1,x2—xn是人脑模型 W,b是网络模型 求使P最大的W,b（极大似然） P值越大 越与人脑模型接近 log改连乘为连加 不影响单调性 改max为min- 求极小值 交叉熵： 中国1%赢球的信息量6.6 法国99%赢球的信息量0.01 比利时和阿根廷都是1 左边的熵 = 0.5+0.5 =1 右边的熵 =0.01+0.06 = 0.07 （KL散度、相对熵的定义）用于比较两个
最小二乘法，极大似然估计，交叉熵的公式推导
weixin_43726202的博客
03-12 532
最小二乘法，极大似然估计，交叉熵推导公式
学习交叉熵
weixin_56368033的博客
05-02 636
文章目录前言损失函数1.最小二乘法2.极大似然估计法3.交叉熵 前言 交叉熵的含义以及公式的推导 学习内容来源于：B站UP主：王木头学科学 损失函数 梯度下降是训练神经网络的基本方法，求解的梯度就是损失函数的梯度。 理解的损失函数是：神经网络中判断的标准和现实世界中判断标准相差多少的定量表达式（两个概率统计模型） 1.最小二乘法 想要比较两个概率统计模型最直接的方法就是比较xi和yi两个值的差距大小 min∑i=1n∣xi−yi∣, min\sum_{i = 1}^{n}\left|xi-yi\rig
损失函数（最小二乘法/极大似然估计/交叉熵）
maomao12123434的博客
02-06 2007
从公式发现，交叉熵和极大似然估计表达式极其的一致。所以也许极大似然估计和交叉熵就是一个，也算是殊途同归！！！参考：【“损失函数”是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”】https://www.bilibili.com/video/BV1Y64y1Q7hi?【“交叉熵”如何做损失函数？打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”】https://www.bilibili.com/video/BV15V411W7VB?
为什么说最小二乘法和最大似然估计是等价的
weixin_46359306的博客
04-22 2629
在接触机器学习算法时，无法避免的就是理解模型训练的过程，即模型为什么能够从历史数据中学习到知识，其实学习的过程就是模型训练的过程，也是模型寻找参数最优解的过程。这个过程有两种求取方式，一种称为最小二乘法，另一种称为最大似然估计，而这两种概念及其容易混淆，尤其对初学者而言，搞不懂这两个概念，很容易从入门到放弃。我接触机器学习和深度学习也有几年了，并且一直从事相关工作，前后阅读相关书籍不下于10本，每本书都是用大量数学公式来解释这两种方法，越高约复杂，我也是直到最近才真正弄明白两者到底啥意思，为什么说是等价..
交叉熵到底是什么——交叉熵与极大似然估计法的联系与区别
weixin_48799576的博客
10-02 2034
如何深入理解交叉熵损失函数的由来
最小二乘法 对数似然函数 交叉熵损失函数
01-05
对数似然函数来源于概率论中的极大似然估计理论。给定一系列独立同分布样本 ${x^{(1)},...,x^{(m)}}$ 及其标签 ${y^{(1)},...,y^{(m)}}$, 假设它们服从某个已知形式的概率密度/质量函数$p(y|x;\theta)$ , 则可以通过...
(done) 斯坦福机器学习 Lecture3 （局部加权回归/局部加权线性回归，参数/非参数化学习，极大似然估计和损失函数的关系，最小二乘法和交叉熵的推导，牛顿法）
shimly123456的博客
11-19 277
今天的主角是，为啥线性回归问题的cost function是误差平方和？而不是绝对误差和，或者四次方和？这里首先讲解了 局部加权回归/局部加权线性回归。卧槽，吴恩达讲得太好了。讲得很好，我都听懂了。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 215
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 338
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 573
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 224
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1806
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 487
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 237
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 700
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 52
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值