最小二乘法：求回归直线方程

最新推荐文章于 2025-06-16 13:06:01 发布

wangqianqianya

最新推荐文章于 2025-06-16 13:06:01 发布

阅读量3w

点赞数 3

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/wangqianqianya/article/details/82960410

机器学习专栏收录该内容

26 篇文章

订阅专栏

本文深入探讨了最小二乘法原理及其在回归分析中的应用，详细讲解了如何通过该方法找到最佳拟合直线，减少预测误差，并介绍了线性回归模型中参数的求解过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最小二乘法：使离差平方和（i=1~n） ∑（yi-yi'）最小的方法

结论：设回归方程为y'=bx+a;解得

回归直线方程：在一组具有相关关系的变量与数据的（x，y）间，最能体现x,y关系的直线（一条尽可能接近所有数据点的直线）

设回归方程为y'=bx+a;

要使直线最拟合，则使（i=1~n） ∑（yi-yi'）最小，但yi-yi'可能为负，无法正确反映整体数据的切合程度，所以用平方，使得∑（yi-yi'）^2最小,由n组xi,yi,最终解得

线性回归中的最小二乘法

线性回归模型

$f(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b = W^{T}X+b$

用最小二乘法最小化残差得损失函数为 $E(W,b)=\sum_{i=1}^{m} (f(x)-y_{i})^{2}=\sum_{i=1}^{m} (W^{T}X+b-y_{i})^{2}$

最小化误差： $(W^{*},b^{*})=arg min\sum_{i=1}^{m} (W^{T}X+b-y_{i})^{2}$

分别对W,b求偏导得：

$\frac{\partial E }{\partial W }=2(W\sum_{i=1}^{m}X^{2}+\sum_{i=1}^{m}x_{i}(b-y_{i}))$

$\frac{\partial E }{\partial b }=2(mb+\sum_{i=1}^{m}(WX-y_{i}))$

对于比较简单的函数，我们令偏导=0就可求出最优值W与b:

$W=\frac{\sum_{i=1}^{m}y_{i}(X_{i}-\bar{X})}{\sum_{i=1}^{m}X_{i}^{2}-\frac{1}{m}(\sum_{i=1}^{m}X_{i})^{2}}$

$b=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-WX_{i})$

其中 $\bar{x}=\frac{1}{m}\sum_{i=1}^{m}X_{i}$

但对于像下图这样有多个最优解的情况，我们用梯度下降法一步步找最优值，避免陷入局部最优解的情况，且计算量小很多。

$W=W-\alpha \frac{\partial E}{\partial W}$

$b=b-\alpha \frac{\partial E}{\partial b}$

多元线性回归

最终求得：

推导过程

推导过程可见：https://blog.youkuaiyun.com/marsjohn/article/details/54911788

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。