【机器学习线性代数】08 最小二乘：投影的本质与方法技巧

最新推荐文章于 2024-03-09 23:40:19 发布
最新推荐文章于 2024-03-09 23:40:19 发布
阅读量3.5k 收藏 15
点赞数 22
分类专栏： 机器学习中的数学：线性代数 机器学习中的数学（全集） 文章标签： 机器学习 python 人工智能 算法 线性代数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43716250/article/details/109701381
版权
本文深入探讨了线性代数中的最小二乘法，解释了如何寻找无解线性方程组的近似解，并通过实际例子展示了最小二乘线性拟合的方法。通过理解正交子空间、互补子空间和正交补，以及施密特正交化，简化了投影计算，为机器学习中的数据拟合和线性问题解决提供了理论基础。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在上一讲，我们学习了如何将一个向量向空间中任意一个子空间进行投影，那么这一讲我们重点关注向哪投影，即如何选择投影子空间的问题，并介绍运用这一思想的最小二乘近似法。

1.互补的子空间

我们知道，在一个 R m R^m R

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【机器学习线性代数】07 寻找最近：空间中的向量投影
机器学习数学基础系列专栏
11-15 3595
1.从两个实际问题谈起 在近似拟合这一部分内容正式开始之前，我们先抛出两个问题。 1.1.如果线性方程组无解怎么办 第一个问题还是关于线性方程组解的问题。 在上一讲里，我们从空间映射的角度分析了线性方程组的解，阐述了在何种情况下有解，并且如何来描述整个解的空间。那么接下来，我们看看下面这个方程组： 2x+y=42x+y=42x+y=4 x+2y=3x+2y=3x+2y=3 x+4y=9x+4y=9x+4y=9 很明显，这个方程组没有解。但是我们不能仅仅停留在这里，因为实际工程领域如果出现这种情况，该如何去解
【2025算法面试通关】【一.数学基础-线性代数】【4.线性代数面试题精选：矩阵求逆与矩阵分解（特征值分解/SVD） 】
最新发布
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-08 487
对于任意 ( m \times n ) 矩阵 ( A )，存在正交矩阵 ( U )（( m \times m )）、( V )（( n \times n )）和非负对角矩阵 ( \Sigma )（( m \times n )，对角线为奇异值 ( \sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r \geq 0 )，( r = \text{rank}(A) )），使得 ( A = U\Sigma V^T )。( m < n ) 时，右侧有零列）。
线性代数笔记15--投影矩阵和最小二乘法
bdn_nbd的博客
03-09 1405
投影矩阵和最小二乘法
投影矩阵与最小二乘
rqrtqqpqi5的专栏
08-15 921
投影矩阵与最小二乘二者有什么必然的联系么，当我开始写这篇文章的时候我也这样问自己。如果Strang教授没有教授这堂课亦或者讲的这堂课没有被放到网上被别人所下载观看，那么... 好在一切都是那么的幸运 先说说投影吧，这个想必大家都知道，高中的知识了。一个向量(b)在另一个向量(a)上的投影： 实际上就是寻找在a上离b最近的点。如果我们把p看作是a的估计值，那么我们定义e
第08讲 最小二乘：投影的本质与方法技巧
GitChat
09-21 141
投影矩阵与最小二乘（二）
a130098300的专栏
06-14 1万+
咱们继续说最小二乘的故事，因为Strang把这些东西以一种非常直观的形式串联起来，使我迫不及待地想写一些心得 在上回，我们得到了一个十分重要的东西，投影矩阵： p = A(A'A)-1A' 我们依然以在（一）中的那张投影图为例，b在平面上的投影是p，如果b垂直于C(A)，那么b就在A的左零空间里，即Pb = 0。如果b本身就在A的列空间里，那么有Ax = b和Pb = b。我们简要推导下上面
矩阵投影角度理解最小二乘法
zuqiutxy的博客
05-20 2996
作者：阿狸 链接：https://www.zhihu.com/question/37031188/answer/111336809 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 最小二乘法(Least Squares Method,简记为LSE)是一个比较古老的方法，源于天文学和测地学上的应用需要。在早期数理统计方法的发展中，这两门科学起了很
【机器学习中的线性代数】：Handbook of Mathematics解读与应用
本文首先介绍了线性代数在机器学习中的基础作用，随后对关键的线性代数概念进行了深入解析，包括向量空间、矩阵运算规则、特殊矩阵及其应用。文章接着探讨了矩阵分解技术，如奇异值分解（SVD）和主成分分析（PCA），...
机器学习中的数学：线性代数
GitChat
11-13 2006
专栏亮点 围绕主要脉络，贯穿整个学科：紧紧围绕空间变换这个线性代数的主要脉络，深刻理解如何用空间表示数据、用空间处理数据、用空间优化数据，用一条线索贯穿整个学科的主干内容。 聚焦四大纬度，筑牢知识体系：从构筑空间、空间投影、矩阵特征、数据降维四大维度，围绕核心，聚焦重点，筑牢与机器学习紧密相连的线性代数知识体系。 使用 Python 工具，无缝对接工程：教你用熟、用好 NumPy、SciPy、M...
传统机器学习操作之投影
weixin_45963617的博客
05-30 450
int binValue = pointCount[k]; if ( binValue <= 1 && pointCount[k + 1] > 1 ) { upperBound = k; continue; } if (binValue > 1 && pointCount[k + 1] <= 1) { bottomBound = k; } 前一时刻是high，下一时刻是low，我们就可以定义为下降沿，前一时刻
漫步线性代数十六——投影和最小二乘
蜗牛
09-05 5642
目前为止，我们已经知道Ax=bAx=b要么有解要么无解，如果bb 不在列空间C(A)C(A) 里，那么这个系统就是矛盾的，高斯消元法就会失败。当有几个方程和一个未知量时失败完全可以确定： 2x3x4x===b1b2b3 \begin{array}{ccc} 2x&=&b_1\\3x&=&b_2\\4x&=&b_3 \end{array} 当b1,b2,b3b_1,b_2,b_3的比率是2:3:42
机器学习新视角5- 投影
追梦程序员
09-25 407
投影和仿射的本质 是 数据从原领域映射到新领域 就是把一系列数据 映射到新的领域内 形成的新的表现 中选取表现最佳的 数据,或映射到不同的领域中,选取最佳的表示 就好像在王者荣耀中的 你投影到了一个召唤师身上 ,这里的区域就是王者荣耀的战场,每一局都是一个新的投影 就比方 在太阳下 你的身体投影到了地面形成的影子 , 这里的区域就是太阳找到的地面,每个影子都是新的投影 投影的意义 假设数据可以在多个特征领域投影, 通过数据在不同特征领域的投影表现 , 激发出在不同特征领域的排名, 综合特征领
矩阵的投影、线性拟合与最小二乘法
superSmart_Dong的博客
08-14 2841
矩阵的四大基础子空间、投影矩阵、最小二乘法
子空间的投影与最小二乘法
qq_38943498的博客
06-02 601
子空间投影与最小二乘法
【源码】机器学习中的投影牛顿型方法
weixin_42825609的博客
09-24 1117
机器学习中的投影牛顿型方法 我们考虑用于解决机器学习及相关领域中出现的大规模优化问题的投影牛顿型方法。 We consider projected Newton-type methodsfor solving large-scale optimization problems arising in machine learning andrelated fields. 我们首先通过回顾经典的投影...
MIT线性代数笔记十六讲 投影矩阵和最小二乘法
herosunly的博客
09-08 1343
1. 投影 Projections 2. 最小二乘法 Least Squares 3. 矩阵A^TA
梯度投影算法
热门推荐
my blogs include programming, math, physics.回首过去，放眼未来。
01-12 1万+
也称GLP投影法 投影 向量的线性变换。 原向量乘以投影矩阵变换成新向量。 物体v，物体的影子v'，投影矩阵P Pv=v' PPv=Pv'=v' 投影矩阵满足 PPv=Pv，投影两次与投影一次的效果一样 U，V为P的像空间与零空间 1. 任意x∈U，P(x) = x，也就是投影两次与投影一次效果一样。 2. 整个向量空间W为U与V两个子向量空间的直和，直和就是矩阵对应元素相加。x∈W，x可写作两个向量之和 x = u + v，满足u = Px，v = (E - P)x 正交投影 正交投影：..
input pattern 小数_（深圳站）POINT.小数点数据分析特训营正式开营
weixin_39968319的博客
10-25 301
课程介绍点点经常收到同学们的问题，就是“如何成为一个数据分析师？”他们有些是刚毕业的学生，有些是寻求转型的职场人士。大家都看好数据分析的职业发展前景，但苦于难以入门，而小数点数据分析特训营创立的目标就是：帮助有志于数据分析这一领域的同学完成转型。在这个培训中，我们会邀请该领域内的行业一线高级数据分析师进行讲解，课程内容为各大企业中数据分析师必须掌握的四大模块（统计学基础知识、数据分析工具操作、数据...
投影矩阵和最小二乘
android开发笔记
05-19 344
前面一篇文章中我们得出投影矩阵，它能产生投影，现在我们来看两种极端情况，第一种就是b就在列空间里，那么在上一篇文章中已经给出投影矩阵为I，即相当于不做任何投影；第二种极端情况就是b垂直于列空间，此时Pb=0，一般情况下向量会有一分量在列空间里，另一分量与列空间垂直，因此投影完成的功能就是去掉垂直部分，保留另一部分。那么这个公式是如何起到这种作用的呢？假设向量b1垂直于列空间，则b垂直于列空间的所...
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

石 溪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值