【线性回归】线性代数角度解释最小二乘法

最新推荐文章于 2025-10-20 09:48:20 发布
原创 最新推荐文章于 2025-10-20 09:48:20 发布 · 4.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文从线性代数的角度深入探讨最小二乘法。通过广告与销量的关系为例，建立线性回归模型，解释矩阵形式的表达。几何分析中指出，由于观测值不完全在列空间内，最小二乘法通过寻找欧氏距离最小的解，实现观测值与拟合值间的正交投影，最终得到β的表达式。

第一：背景

 问题：广告和销量之间的关系？

 数据集：特征包含三块：电视广告xt，网络广告xm，楼宇广告xf，因变量销量记作y。

         
           数据集样本数为m。

第二：拟合线性回归模型

          y’ = β0  +  β1 * xt  +  β2 * xm  +  β3 * xf  

          写成矩阵形式：Xβ=y‘

          解释：X就是形状m*4的矩阵【因为加入了一个β0这截距项，所以第一是m个1】，

                     β是一个包含四个元素的向量【β0，β1，β2，β3】

                     y'是一个包含m个元素的向量 【y1，y2，，，，，y3】

第三：几何分析

最低0.47元/天 解锁文章
线性代数之——最小二乘
weixin_30376323的博客
11-25 1091
1. 最小二乘 \(Ax=b\) 经常会没有解，当方程个数大于未知数个数，也即 \(m>n\) 时，列空间并不是 \(R^m\) 空间的全部，因此 \(b\) 可能不在列空间中，这时候方程组就无解，但我们不应该就此而停止。 也就是误差 \(e = b-Ax\) 并不总是能得到 0，这时候，如果误差 \(e\) 的长度尽可能的小，那我们就得到了最小二乘解 \(\hat x\)。 当 \(Ax...
【线性代数】最小二乘法的本质、施密特正交化的“前世今生”，投影的核心思想
我的数据分析师之路
07-28 2166
线性代数的核心思想：投影 近似与拟合的真相：投影 线性方程组的近似解：投影 最小二乘法的本质：投影 施密特正交化的本质：投影
关于最小二乘法
最新发布
qq_45670407的博客
10-20 708
摘要： 最小二乘法通过最小化残差平方和求解过定方程组的最优解，适用于带噪观测数据。其核心思想包括：几何上将观测向量正交投影到系数矩阵的列空间；代数上通过正规方程、QR分解或SVD求解；统计上在高斯噪声假设下等价于最大似然估计。扩展方法涵盖加权最小二乘（处理异方差）、岭回归（正则化）、非线性最小二乘（高斯-牛顿/Levenberg-Marquardt算法）及鲁棒回归（抗离群点）。实际应用中需注意数值稳定性（避免直接求逆）、特征缩放和残差分析。该方法广泛应用于直线/多项式拟合、相机标定和视觉几何等问题，是数据拟
线性代数笔记4：最小二乘法
crazy_scott的博客
03-22 1622
最小二乘法大家都很熟悉了，今天以向量投影的角度重新认识它。 引入 回到解方程组Ax=bAx=bAx = b。 若Ax=bAx=bAx = b 有解，则b∈C(A)b∈C(A)b\in C(A)。 若Ax=bAx=bAx = b 有解，则b∉C(A)b∉C(A)b\notin C(A)，转化为问题求：x^x^\hat{x}使得||Ax^−bAx^−bA\hat{x} - b||最小，即m...
线性代数之最小二乘法
本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度，也有思维广度，无论你是开发者、创业者还是高校学子，都能在这里找到适合自己的成长之路！
12-22 1553
最小二乘法是一种强大且广泛使用的工具，适用于数据拟合和参数估计。通过最小化误差平方和，最小二乘法帮助我们找到最佳的模型参数，从而实现数据分析和预测。最小二乘法的出现是科学测量和数据分析需求的产物，经过高斯的正式提出和后续统计学家的发展，逐渐成为一种重要的数学工具。它在多个领域的广泛应用，反映了其在数据拟合和参数估计中的有效性和重要性。最小二乘法主要解决数据拟合、参数估计、信号处理、预测等问题。它通过最小化误差平方和，帮助我们找到最佳的模型参数，从而实现对数据的有效分析和理解。
线性代数里的最小二乘法介绍
Reborn Lee
10-13 4699
考虑超定方程组（超定指未知数小于方程个数）： 其中m代表有m个等式，n代表有 n 个未知数  ，m>n ；将其进行向量化后为：     ，  ，  显然该方程组一般而言没有解，所以为了选取最合适的  让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n倍的均方误差MSE） 当  时，  取最小值，记作： 通过对  进行微分 [2] ...
使用最小二乘法，求线性回归分析的计算器（可显示过程）
02-10
最小二乘法是最常用于拟合线性回归模型的方法之一，其核心思想是找到一条直线，使得所有数据点到这条直线的垂直距离（即残差）之和最小。这种计算过程被称为最小化误差的平方和，因此这种方法又称为最小二乘法。 ...
最小二乘法求解二元线性回归问题
Jacoh的专栏
08-04 1756
最小二乘，矩阵，线性代数
线性回归——最小二乘法（公式推导和非调包实现）
尼克不可的博客
05-06 3218
接上一篇文章【线性回归——二维线性回归方程（证明和代码实现）】 前言： 博主前面一篇文章讲述了二维线性回归问题的求解原理和推导过程，以及使用python自己实现算法，但是那种方法只能适用于普通的二维平面问题,今天博主来讲一下线性回归问题中更为通用的方法,也是我们实际开发中会经常用到的一个数学模型,常用的解法就是最小二次乘法和梯度下降法.博主今天对最小二乘法进行推导并使用Python代码自定义实现,...
最小二乘法构建线性回归方程
weixin_45654230的博客
10-01 3045
一、用Excel做一元线性回归分析 首先需要下载一个数据分析的插件： 点击左上角文件->选项->加载项->分析工具库->转到-数据分析库->确定 下载好插件之后就可以开始使用Excel做数据分析了 点击数据->数据分析 回归->确定 最后得到的结果： 二、使用jupyter来做一元线性回归分析 根据最小二乘法公式手动构建一元线性回归模型 #不掉包实现一元线性回归 import pandas as pd def r.
线性代数 - 矩阵形式下的最小二乘法
围城
10-01 4728
20201001 - 0. 引言 最近在看《异常点检测》的时候，其中在PCA部分（准确来说是前面一小节）在进行推导的时候，使用了最小二乘法。其实这个东西本质上并不难，但是让我比较尴尬的是，很多线性代数的东西有些遗忘了，好在最近直截了当的复习让大部分知识都回顾了。 1. 问题 关于具体的推导过程就不说了，各种公式都有，直接的结论也都有。但是这里之前的时候，产生了一个问题。本来最小二乘法是利用垂直距离来定义的（也就是预测变量与相应的平面与坐标中平行的距离），但是有些书上都提到了投影距离。然后他们也用了最下二乘法
【数学】从线代的角度看最小二乘法拟合直线
weixin_40185666的博客
02-28 644
自己的数学基础实在是捉急，尤其是线代这块，本科学习线代时都只是死记硬背计算方法，完全没有理解它背后的几何物理意义。后闻MIT Dr.Strange的线代公开课口碑很好，所以花了一段时间把它刷完了，理清了很多疑惑，又引出了很多疑惑。 印象比较深的是矩阵在最小二乘法进行直线拟合中的应用。假设场景：在进行某一个实验时，得到了若干组（x,y）形式的数据，它们在坐标轴上的分布是接近线性的（即差不多都处在一...
线性最小二乘法
hello071375的博客
05-07 1367
背景： 记得在高中的时候，课本上有一个拟合直线的例子，当时并没有怎么放在心上，到了大学之后，在校比赛和工作学习需要用到，现在做一下记录，也算是温习以前学过的知识，帮助自己加深理解。 正文： 最小二乘法在求解最优化问题时，经常是作为一种有效的数据分析方法，本文主要是阐述线性最小二乘法，我们首先引入一个最经典的例子——拟合直线。 方便计算，给出三个点集合(1, 1)，B(...
MIT线性代数1806(16) 最小二乘法计算最优解 1、求导计算 2、投影计算、
大模型与Agent智能体
03-21 1196
MIT线性代数1806(16)   最小二乘法计算最优解 1、求导计算 2、投影计算 
线性代数 -- 投影矩阵和最小二乘
热门推荐
williamgavin的博客
08-26 2万+
上一篇文章主要讲了子空间的投影， 其中一个主要的知识点是：投影矩阵， P = A(ATA)-1AT, 这个公式的作用就是投影， 比如P*b就是将向量b投影到距离它的列空间最近的位置；举两个极端的例子， 如果向量b位于它自己的列空间中， 那么向量b在其列空间中的投影就是它自己， 即：Pb = b。 如果向量b与它自己的列空间垂直， 那么向量b在其列空间中的投影就是0， 即：Pb = 0。 通常情况下
代数知识总结（最小二乘法）
weixin_37340613的博客
07-03 916
最小二乘法 通俗描述 在现实世界中，我们发现世间万物是相互联系的，大家都听说过“蝴蝶效应”，它说的也是这个道理。一个（或一组）因素（自变量）的变化会引起另外一组因素（因变量）的变化。可是现实世界中总是存在一些微乎其微的影响因素对上述的这个变化过程造成干扰，因此，这个变化过程总是存在一定的误差。此时，我们就想如何通过给定一组自变量和因变量的集合，计算得到他们之间的关系（函数），当然其中的重点就是要尽...
MIT 线性代数导论 第十六讲：投影矩阵和最小二乘
MirrorN的博客
10-15 973
本讲的主要内容： 简单回顾前一讲中的投影矩阵的概念 结合例子具体说明最小二乘 证明 ATAA^{T}AATA 是可逆的 回顾 上一讲的最重要的知识点如下： p=Axp= Axp=Ax P=A(ATA)−1ATP=A(A^{T}A)^{-1}A^{T}P=A(ATA)−1AT ATAx=ATbA^{T}Ax=A^{T}bATAx=ATb 首先定义ppp 是向量投影在向量空间AAA的分向量，P...
数值计算之 最小二乘法（1）最小二乘计算与线性方程
qq_41035283的博客
11-24 4263
数值计算之 最小二乘法（1）最小二乘计算与矩阵前言最小二乘法与线性方程组最小二乘解与矩阵计算总结 前言 本篇开启一个非常重要的内容，最小二乘法。它在方程组求解、多视图几何计算、线性优化等方面具有广泛的应用。 本节是最小二乘法的第一部分，将最小二乘与线性代数关联。 最小二乘法与线性方程组 最小二乘法的起源 在数值计算拟合法中已经提到过，最小二乘法最早用于数据拟合： arg min⁡f(x)∑i=0n(f(xi)−yi)2 \argmin_{f(x)} \sum_{i=0}^n (f(x_i)-y_i)^2 f
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值