线性回归、最小二乘原理（Linear_regression）

最新推荐文章于 2025-05-17 15:34:21 发布
原创 最新推荐文章于 2025-05-17 15:34:21 发布 · 2.4k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#线性回归 #最小二乘

本文深入探讨线性回归的原理与应用，涵盖一元与多元线性回归，详细解析最小二乘法、梯度下降法及正则化技术，并通过实例展示不同回归模型的训练过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考了统计学习方法，概率论与数理统计，工程线性代数，西瓜书，Machine Learnig with python做的总结，所以不能作为教程，还包含自己用sklearn做的一些对比实验，原文是写在jupyter上的，这里是直接转为.md导过来的，所以格式有些问题，有些东西还待完善…

（二） 线性回归 linear regression

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法.可用于预测和相关性分析(即“因子分析”,因子分析是根据回归分析结果，得出各个自变量对目标变量产生的影响，因此，需要求出各个自变量的影响程度).回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析.如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析.

f(x)=w1x1+w2x2+...+wnxn+bf(x)=w_1x_1+w_2x_2+...+w_nx_n+bf(x)=w1​x1​+w2​x2​+...+wn​xn​+b

其向量表达形式为f(x)=wx+bf(x) = wx+bf(x)=wx+b，这里xxx表示样本，x1,x2,x3...x_1,x_2,x_3...x1​,x2​,x3​...表示属性

性能度量

均方误差(square loss)∑i=1m(f(xi)−yi)2=∑i=1m(yi−wxi−b)2\sum_{i=1}^m(f(x_i)-y_i)^2=\sum_{i=1}^m(y_i-wx_i-b)^2i=1∑m​(f(xi​)−yi​)2=i=1∑m​(yi​−wxi​−b)2这里m示样本数量,xix_ixi​表示样本iii,然后xi1,xi,2,xi,3...x_{i1},x_{i,2},x_{i,3}...xi1​,xi,2​,xi,3​...表示其特征

一元线性回归

原始模型xi=(xi1),w=(w),y=(y1,y2,...,ym):x_i=(x_{i1}),w=(w),y=(y_1,y_2,...,y_m):xi​=(xi1​),w=(w),y=(y1​,y2​,...,ym​):f(xi)=wxi1+bf(x_i)=wx_{i1}+bf(xi​)=wxi1​+b

目标函数：argmin(w,b)Ew,b=∑i=1m(yi−wxi1−b)2argmin_{(w,b)}E_{w,b}=\sum_{i=1}^{m}(y_i-wx_{i1}-b)^2argmin(w,b)​Ew,b​=i=1∑m​(yi​−wxi1​−b)2

多元线性回归

原始模型xi=(xi1,xi2,...,xin)x_i=(x_{i1},x_{i2},...,x_{in})xi​=(xi1​,xi2​,...,xin​),w=(w1,w2,...,wn)w=(w_1,w_2,...,w_n)w=(w1​,w2​,...,wn​),这里为了方便我们使用xi=(xi1,xi2,...,xin,1)x_i=(x_{i1},x_{i2},...,x_{in},1)xi​=(xi1​,xi2​,...,xin​,1),w=(w1,w2,...,wn,b)w=(w_1,w_2,...,w_n,b)w=(w1​,w2​,...,wn​,b)将bbb一起包含在权重矩阵中,模型为::: f(xi)=WTXf(x_i)=W^TXf(xi​)=WTX其中X=(x1x2...xm1)X=\begin{pmatrix} x_1& \\ x_2& \\ ...&\\ x_m&\\ 1&\end{pmatrix}X=⎝⎜⎜⎜⎜⎛​x1​x2​...xm​1​​⎠⎟⎟⎟⎟⎞​表示整个数据集,y=X=(y1y2...ym)y=X=\begin{pmatrix} y_1& \\ y_2& \\ ...&\\ y_m &\end{pmatrix}y=X=⎝⎜⎜⎛​y1​y2​...ym​​​⎠⎟⎟⎞​,W=(w1w2...wm1)W=\begin{pmatrix} w_1& \\ w_2& \\ ...&\\ w_m&\\ 1& \end{pmatrix}W=⎝⎜⎜⎜⎜⎛​w1​w2​...wm​1​​⎠⎟⎟⎟⎟⎞​

目标函数：argminWEW=(y−XW)T(y−XW)argmin_{W}E_W=(y-XW)^T(y-XW)argminW​EW​=(y−XW)T(y−XW)为什么这里示转置乘原型，这是因为最终惩乘出来是一个值，求了和的.

求解

最小二乘法（为甚么叫最小二乘：因为是平方和最小化）:求解Ew,b=∑i=1m(yi−wxi1−b)2E_{w,b}=\sum_{i=1}^{m}(y_i-wx_{i1}-b)^2Ew,b​=∑i=1m​(yi​−wxi1​−b)2最小化过程称为线性回归的最小二乘法.

一元线性：

目标函数是关于www和bbb的凸函数,凸函数:对于区间[a,b]上定义的f(x)f(x)f(x)满足f(x1+x22)⩽f(x1)+f(x2)2f(\frac{x_1+x_2}{2})\leqslant \frac{f(x_1)+f(x_2)}{2}f(2x1​+x2​​)⩽2f(x1​)+f(x2​)​则称f(x)f(x)f(x)为凸函数

凸函数求最值，就是求导,因此将目标函数分别对www和bbb求导:∂E∂w=∑i=1m2(−xi1)(yi−wxi1−b)=∑i=1m2(wxi12−(yi−b)xi1)=2(w∑i=1mxi12−∑i=1m(yi−b)xi1)\frac{\partial E}{\partial w}=\sum_{i=1}^m2(-x_{i1})(y_i-wx_{i1}-b)=\sum_{i=1}^m2(wx_{i1}^2-(y_i-b)x_{i1})=2(w\sum_{i=1}^mx_{i1}^2-\sum_{i=1}^m(y_i-b)x_{i1})∂w∂E​=i=1∑m​2(−xi1​)(yi​−wxi1​−b)=i=1∑m​2(wxi12​−(yi​−b)xi1​)=2(wi=1∑m​xi12​−i=1∑m​(yi​−b)xi1​)

∂E∂b=∑i=1m2(−1)(yi−wxi1−b)=2(mb−∑i=1m(yi−wxi1))\frac{\partial E}{\partial b}=\sum_{i=1}^m2(-1)(y_i-wx_{i1}-b)=2(mb-\sum_{i=1}^{m}(y_i-wx_{i1}))∂b∂E​=i=1∑m​2(−1)(yi​−wxi1​−b)=2(mb−i=1∑m​(yi​−wxi1​))

可以解得b=1m∑i=1m(yi−wxi1)=y−−wx−b=\frac{1}{m}\sum_{i=1}^{m}(y_i-wx_{i1})=y^--wx^-b=m1​i=1∑m​(yi​−wxi1​)=y−−wx−

w=∑i=1m(yi−b)xi1∑i=1mxi12=∑i=1m(yi−1m∑i=1m(yi−wxi1))xi1∑i=1mxi12w=\frac{\sum_{i=1}^{m}(y_i-b)x_{i1}}{\sum_{i=1}^{m}x_{i1}^2}=\frac{\sum_{i=1}^{m}(y_i-\frac{1}{m}\sum_{i=1}^{m}(y_i-wx_{i1}))x_{i1}}{\sum_{i=1}^{m}x_{i1}^2}w=∑i=1m​xi12​∑i=1m​(yi​−b)xi1​​=∑i=1m​xi12​∑i=1m​(yi​−m1​∑i=1m​(yi​−wxi1​))xi1​​

w=∑i=1myi(xi1−x−)∑i=1mxi2−1m(∑i=1mxi1)2w=\frac{\sum_{i=1}^{m}y_i(x_{i1}-x^-)}{\sum_{i=1}^{m}x_i^2-\frac{1}{m}(\sum_{i=1}^{m}x_{i1})^2}w=∑i=1m​xi2​−m1​(∑i=1m​xi1​)2∑i=1m​yi​(xi1​−x−)​

这里y−y^-y−和x−x^-x−表示均值

多元线性：

由于www和bbb的合并所以求导只用对WWW求导可得

∂E∂W=2XT(XW−y)\frac{\partial E}{\partial W}=2X^T(XW-y)∂W∂E​=2XT(XW−y)

W=(XTX)−1XTyW=(X^TX)^{-1}X^TyW=(XTX)−1XTy

但是现实任务中(XTX)(X^TX)(XTX)往往不是满秩矩阵,即使满秩也可能不是方阵，因此可能没有逆矩阵（设AAA是nnn阶矩阵, 若r(A)=nr(A) = nr(A)=n, 则称AAA为满秩矩阵。但满秩不局限于nnn阶矩阵。
若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。既是行满秩又是列满秩则为nnn阶矩阵即nnn阶方阵。行满秩矩阵就是行向量线性无关，列满秩矩阵就是列向量线性无关；所以如果是方阵,行满秩矩阵与列满秩矩阵是等价的.见工程数学新线性代数第六版矩阵初等变换与线性方程组）（一个n阶方阵A称为可逆的，或非奇异的，如果存在一个n阶方阵B，使得BA=EBA=EBA=E
则称B是A的一个逆矩阵。）

最小二乘法概率学原理

以一元线性回归，从概率学角度说明为甚么要最小化平方差项。首先要了解最大似然估计。我们假设有x1,x2,x3,..,xmx_1,x_2,x_3,..,x_mx1​,x2​,x3​,..,xm​个样本，对应真实值为y1,y2,y3,..,ymy_1,y_2,y_3,..,y_my1​,y2​,y3​,..,ym​。那么对于模型y=wxi1+by=wx_{i1}+by=wxi1​+b，其不一定就能完全拟合数据，所以改写为yi=wxi1+b+ϵiy_i=wx_{i1}+b+\epsilon_iyi​=wxi1​+b+ϵi​其中ϵi∼N(0,σ2)\epsilon_i\sim N(0,\sigma^2)ϵi​∼N(0,σ2),σ\sigmaσ是不依赖于xi1x_{i1}xi1​.这里的ϵ\epsilonϵ相当于是一个正太分布的误差项，各个ϵ\epsilonϵ之间相互独立.

那么就有yi∼N(wxi1+b,σ2)y_i\sim N(wx_{i1}+b,\sigma^2)yi​∼N(wxi1​+b,σ2),于是根据最大释然估计，我们可以得到联合概率分布的似然函数：
L=∏i=1mP(yi)=∏i=1m1σ2πexp[−12σ2(yi−wxi1−b)2]L=\prod_{i=1}^mP(y_i)=\prod_{i=1}^m \frac{1}{\sigma\sqrt{2\pi}}exp[-\frac{1}{2\sigma^2}(y_i-wx_{i1}-b)^2]L=i=1∏m​P(yi​)=i=1∏m​σ2π​1​exp[−2σ21​(yi​−wxi1​−b)2]

对数似然函数为：log(L)=∑i=1m[log(1σ(2π))−12σ2(yi−wxi1−b)2]log(L)=\sum_{i=1}^{m}[log(\frac{1}{\sigma\sqrt(2\pi)})-\frac{1}{2\sigma^2}(y_i-wx_{i1}-b)^2]log(L)=i=1∑m​[log(σ(​2π)1​)−2σ21​(yi​−wxi1​−b)2]

根据最大释然估计，我们希望联合概率最大化，所以，这里我们对对数似然函数求最值，由于除了平方项都是常量，因此我们只用对平方项∑i=1m(yi−wxi1−b)2\sum_{i=1}^{m}(y_i-wx_{i1}-b)^2∑i=1m​(yi​−wxi1​−b)2求最小值，这就是其概率学原理。

梯度下降法求解

批量梯度下降：w=w+α∑i=1m(yi−wxi1−b)xi1w=w+\alpha\sum_{i=1}^{m}(y_i-wx_{i1}-b)x_{i1}w=w+αi=1∑m​(yi​−wxi1​−b)xi1​ 优点：得到全局最优解
，缺点：当样本数目很多时，训练过程会很慢

随机梯度下降:每次更新只选取一个样本来进行更新，优点：训练速度快，
缺点：准确度下降，可能跳出最优解，不是全局最优

小批量梯度下降:小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷，每次取一定数量的样本进行迭代更新

结合正则项的线性回归

使用正则项：Ew,b=∑i=1m(yi−wxi1−b)2+λ∑i=1n∣wi∣kE_{w,b}=\sum_{i=1}^{m}(y_i-wx_{i1}-b)^2+\lambda \sum_{i=1}^n|w_i|^kEw,b​=i=1∑m​(yi​−wxi1​−b)2+λi=1∑n​∣wi​∣k

当k=1k=1k=1时为L1正则称为lasso回归，当k=2k=2k=2时为L2正则称为Ridge（岭回归）回归，也可以L1和L2正则化同时使用

为甚要加入正则项

高维数据

高维数据指数据的维度很高，甚至远大于样本量的个数。高维数据的明显的表现是：在空间中数据是非常稀疏的，与空间的维数相比样本量总是显得非常少。在分析高维数据过程中碰到最大的问题就是维数的膨胀，也就是通常所说的“维数灾难”问题。研究表明，随着维数的增长，分析所需的空间样本数会呈指数增长。换言之，当样本量确定时，数据空间维度由增加则样本密度将会降低，从而样本呈稀疏状态。假设样本量n=12,单个维度宽度为3，那在一维空间下，样本密度为12/3=4，在二维空间下，样本分布空间大小为3×33\times33×3，则样本密度为12/9=1.3312/9=1.3312/9=1.33，在三维空间下样本密度为12/27=0.4412/27=0.4412/27=0.44。

带来的问题：

1.需要更多的样本，而且样本随着数据维度的增加呈指数型增长；
2.数据变得更稀疏，导致数据灾难；
3.在高维数据空间，预测将变得不再容易；
4.导致模型过拟合（过拟合原因是因为数据，空间维度大，样本稀疏不能代表总体，因此即使模型在样本上拟合很好，但是泛化能力很差，因此叫过拟合）

解决方法

1.增加样本数量；2.降低数据维度；

增加样本数量可能不太实际，数据降维一般使用PCA，但是PCA要求主成分分析法只适用于数据空间维度小于样本量的情况，当数据空间维度很高时，将不再适用.

3.加入正则化项；解释：可以无论是L1或是L2都是参数（特征权重）的和的形式（L1取绝对值），最小化正则化损失函数时，正则项也最小化了，这样就可以保证参数（特征权重）最小化，可能部分较小参数就可能被压缩为0，这样也可以间接降低维度。根据李航统计学习的解释：正则化项作用是选择经验风险与模型复杂度同时较小的模型.

例子

import pandas as pd

oecd_bli=pd.read_csv("lifesat/oecd_bli_2015.csv",thousands=",")
oecd_bli.head()
set(oecd_bli["Indicator"])#看看指标总共有多少项，然后选取我们需要的Life satisfaction
set(oecd_bli["INEQUALITY"])

{'HGH', 'LW', 'MN', 'TOT', 'WMN'}

oecd_bli=oecd_bli[oecd_bli["INEQUALITY"]=="TOT"]
oecd_bli=oecd_bli.pivot(index="Country",columns="Indicator",values="Value")#指定哪列为列名，指定哪列为行名，指定值为哪个列的值
#oecd_bli["Life satisfaction"]


gdp=pd.read_csv("lifesat/gdp_per_capita.csv",thousands=",",delimiter='\t',encoding="latin1",na_values="n/a")
gdp.head()
#gdp["2015"]
CountrySubject DescriptorUnitsScaleCountry/Series-specific Notes2015Estimates Start After
0AfghanistanGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...599.9942013.0
1AlbaniaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...3995.3832010.0
2AlgeriaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...4318.1352014.0
3AngolaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...4100.3152014.0
4Antigua and BarbudaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...14414.3022011.0
gdp.rename(columns={"2015":"GDP per capital"},inplace=True)#inplace这个参数是在本地更改，而不用单独输出一个值
gdp=gdp.set_index("Country")#设置index为Country
gdp.head()
Subject DescriptorUnitsScaleCountry/Series-specific NotesGDP per capitalEstimates Start After
Country
AfghanistanGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...599.9942013.0
AlbaniaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...3995.3832010.0
AlgeriaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...4318.1352014.0
AngolaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...4100.3152014.0
Antigua and BarbudaGross domestic product per capita, current pricesU.S. dollarsUnitsSee notes for: Gross domestic product, curren...14414.3022011.0
merge_data=pd.merge(left=oecd_bli,right=gdp,left_index=True,right_index=True)#合并的两个dataframe必须要有相同的index，一个有另一个没有的会删除
#merge_data

merge_data[["Air pollution","Assault rate"]].loc[["Australia","Korea"]]#大于两个都要加上[],若一个的化就是直接一个
merge_data[["Air pollution","Assault rate"]].iloc[[0,2]]#我们也可以通过数字索引，但是要使用iloc
#merge_data["Air pollution"]["Australia"]
merge_data=merge_data[["Life satisfaction","GDP per capital"]]
merge_data.sort_values(by="GDP per capital",inplace=True)#排序然后去掉最大值和最小值，以及差异值
merge_data=merge_data[["Life satisfaction","GDP per capital"]].iloc[list(set(range(36)) - set([0, 1, 6, 8, 33, 34, 35]))]#移除一些差异值
#merge_data

import numpy as np
import matplotlib.pyplot as pl 
X=np.asarray(merge_data["GDP per capital"])
y=np.asarray(merge_data["Life satisfaction"])
X=X.reshape([-1,1])#二维输入
y=y.reshape([-1,1])
pl.scatter(X,y)

<matplotlib.collections.PathCollection at 0x204cc1296d8>

#好了数据准备好了，训练一个线性模型
import sklearn.linear_model as  LM

model=LM.LinearRegression()
model.fit(X,y)
X_new = [[22587]]  # Cyprus' GDP per capita
print(model.predict(X_new)) # outputs [[ 5.96242338]]

[[5.96242338]]

test_X=[[10000],[20000],[30000],[40000],[50000]]
test_Y=model.predict(test_X)
test_Y

array([[5.34420726],
       [5.83536172],
       [6.32651618],
       [6.81767064],
       [7.30882509]])

pl.plot(test_X,test_Y,"r")
pl.scatter(X,y)
pl.show()

png

#训练一个Ridge模型
model1=LM.Ridge(0.6)

model1.fit(X,y)
X_new = [[22587]]  # Cyprus' GDP per capita
print(model1.predict(X_new)) # outputs [[ 5.96242338]]

[[5.96242338]]

test_X=[[10000],[20000],[30000],[40000],[50000]]
test_Y=model1.predict(test_X)
test_Y

array([[5.34420726],
       [5.83536172],
       [6.32651618],
       [6.81767064],
       [7.30882509]])

pl.plot(test_X,test_Y,"r")
pl.scatter(X,y)
pl.show()

png

#训练一个Lasso
model2=LM.Lasso(alpha=0.6)
model2.fit(X,y)
X_new=[[22587]]
model2.predict(X_new)

array([5.96245466])

test_X=[[10000],[20000],[30000],[40000],[50000]]
test_Y=model2.predict(test_X)
test_Y

array([5.34427499, 5.83540049, 6.326526  , 6.8176515 , 7.30877701])

pl.plot(test_X,test_Y,"r")
pl.scatter(X,y)
pl.show()

png

#训练一个Bayesian Ridge Regression

model3=LM.BayesianRidge()
model2.fit(X,y)
X_new=[[22587]]
model2.predict(X_new)

array([5.96245466])

test_X=[[10000],[20000],[30000],[40000],[50000]]
test_Y=model2.predict(test_X)
test_Y

array([5.34427499, 5.83540049, 6.326526  , 6.8176515 , 7.30877701])

pl.plot(test_X,test_Y,"r")
pl.scatter(X,y)
pl.show()

png

线性回归（LinearRegression）原理整理+代码实现
ttt123456uuu的博客
08-07 8841
线性回归（LinearRegression）原理+代码实现1. 线性回归原理1.1 五个前提假设1.2 定义及公式 1. 线性回归原理 1.1 五个前提假设 （1）线性性 & 可加性 假设因变量为Y，自变量为X1，X2，则回归分析的默认假设为Y=b+a1X1+a2X2+ε。 线性性：X1每变动一个单位，Y相应变动a1个单位，与X1的绝对数值大小无关。 可加性：X1对Y的影响是独立于其他自变量（如X2）的。 （2）误差项（ε）之间应相互独立。 若不满足这一特性，我们称模型具有自相关性（Autoc
最小二乘回归算法原理及Python实践
u013571432的博客
09-08 2001
最小二乘回归算法原理主要基于最小化误差平方和的思想，以找到数据的最佳函数匹配。
线性回归之最小二乘法公式推导和原理介绍
热门推荐
weixin_42364196的博客
11-07 3万+
1.最小二乘法的原理 最小二乘法的主要思想是通过确定未知参数θ\thetaθ（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为E=∑i=0nei2=∑i=1n(yi−yi^)E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y_i})E=∑i=0n​ei2​=∑i=1n​(yi​−yi​^​)，其中yiy_iyi​是真实值，yi...
最小二乘法拟合直线，用线性回归法、梯度下降法实现
最新发布
m0_55908255的博客
05-17 1297
对于每个数据点，预测值为最小化所有数据点的误差平方和：最终目标就是找到使总误差S最小的a、b，这可以通过S分别对a、b求偏导，并令偏导数 = 0来实现梯度下降（Gradient Descent）是一种迭代优化算法，通过不断沿损失函数负梯度方向更新参数，逐步逼近最优解。
机器学习_最小二乘法，线性回归与逻辑回归
谢彦的技术博客
11-17 7331
线性回归，直观地说，在二维情况下，已知一些点的X,Y坐标，统计条件X与结果Y的关系，画一条直线，让直线离所有点都尽量地近（距离之和最小），用直线抽象地表达这些点，然后对新的X预测新的Ｙ。具体实现一般使用最小二乘法。
线性回归——Linear Regression原理
稚与的博客
05-07 1930
Linear Regression 简介 线性回归是一种回归学习方法，一般用于处理连续性变量，算是机器学习的入门算法。虽然线性模型的形式很简单，但是线性模型的思想是很重要的，许多非线性模型都是在线性模型的基础上通过引入高维映射而得。 优点 建模速度快，不需要复杂计算 可解释性好 缺点 不适用与非线性数据 可能出现过拟合 基本原理 基本形式 给定数据集D={(x1,y1),......
最小二乘法求解线性回归模型及求解
weixin_42796403的博客
02-10 1万+
机器学习线性回归模型 线性回归（linear regression）是一种线性模型，它假设输入变量 x 和单个输出变量 y 之间存在线性关系 具体来说，利用线性回归模型，可以从一组输入变量 x 的线性组合中，计算输出变量 y 给定有d个属性（特征）描述的示例 x =（x1; x2; …; xd），其中xi是x在第i个属性（特征）上的取值，线性模型（linear model）试图学得一个通过属性（特征）的线性组合来进行预测的函数，即： 一般用向量形式写成： 其中 假设特征和结果都满足线性，即不大于一
多元线性回归_Multiple_Linear_Regression
07-27
### 多元线性回归_Multiple_Linear_Regression #### 1. 概述 多元线性回归是一种常用的统计方法，用于分析一个数值型的因变量（或响应变量）与两个或更多数值型自变量（或解释变量）之间的关系。这种方法在金融...
LinearRegressionModel:普通最小二乘线性回归模型的实现，该模型使用矩阵运算来计算权重
05-16
学习和理解这个模型的实现可以帮助我们深入掌握线性回归模型的工作原理，同时也能提升我们的Java编程技能，特别是在机器学习和数据分析领域的应用。通过阅读和分析代码，我们可以了解到如何将理论知识转化为实际的...
Least Square Linear Regression：可视化最小二乘回归的概念-matlab开发
05-29
最小二乘线性回归（Least Square Linear Regression）是一种广泛应用的统计分析方法，用于在二维平面上找到一条直线，使数据点到该直线的垂直距离（即误差）平方和最小。这种方法常用于预测和建模，尤其在MATLAB环境...
python学习---线性回归---最小二乘回归模型和非负最小二乘法线性回归模型
临风暖阳的博客
05-08 1955
The following are a set of methods intended for regression in which the target value is expected to be a linear combination of the features. In mathematical notation, ifis the predicted value. Across the module, we designate the vectorw=(w1,...,wp)a...
Linear-Regression-Experimenter:线性回归的工作原理（非常简单）。 实际上不做线性回归
05-29
线性回归实验者 线性回归的工作原理（非常简单）。 实际上不做线性回归。
线性回归之最小二乘法
seaboat——a free boat on the sea.（公众号：远洋号）
03-03 2万+
线性回归线性回归是很常见的一种回归，线性回归可以用来预测或者分类，主要解决线性问题。最小二乘法线性回归过程主要解决的就是如何通过样本来获取最佳的拟合线。最常用的方法便是最小二乘法，它是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。代数推导： 假设拟合直线为y=ax+by=ax+b 对任意样本点(xi,yi)(x_i,y_i) 误差为e=yi−(axi+b)e=y_i-(ax_i+
线性回归（linear Regression）基本原理
A2207519603的博客
07-26 2734
本文简单介绍了线性回归模型的数学理论基础
线性回归（linear regression）的原理
yoyofu007的博客
07-05 7398
留给自己的备忘：线性回归（linear regression）的原理1概述回归，统计学术语，表示变量之间的某种数量依存关系，并由此引出回归方程，回归系数。线性回归（Linear Regression），数理统计中回归分析，用来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，其表达形式为y = w'x+e，其中只有一个自变量的情况称为简单回归，多个自变量的情况叫多元回归。2、特点、优点...
线性最小二乘法
NSSWTT的博客
07-08 7052
最小二乘法是一种相对来说比较简单而且易于理解的算法，在分类回归算法中经常使用。最近在学习Deep Learning这本书，遇到线性最小二乘，刚开始对于书本上的公式还不是很理解，后来经过查阅资料，对线性最小二乘的原理以及如何使用有了一定的理解，话不多说，直接步入正题。 一、最小二乘法 官方定义：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二...
线性回归原理理解——liner regression
u013435866的博客
04-19 744
线性回归模型讲解 个人理解笔记，方便个人学习。 首先线性回归，适用用于模型最好是线性，如果不是线性那可以用其他方法神经网络啊，对于线性的数据x（i）分别指向y（i） 我想干啥子那，我想找到一个数w，然后令 （2） ...
最小二乘法与高斯过程回归
AI天才研究院
12-28 966
1.背景介绍 最小二乘法和高斯过程回归是两种广泛应用于机器学习和数据科学领域的回归分析方法。这两种方法都试图根据给定的输入数据和对应的输出值，学习一个模型，以便在新的输入数据上进行预测。在本文中，我们将详细介绍这两种方法的核心概念、算法原理和具体实现，并讨论它们在实际应用中的优缺点以及未来发展趋势。 2.核心概念与联系 2.1 最小二乘法 最小二乘法是一种常用的回归分析方法，它试图通过使目...
LinearRegression线性回归算法基本原理分析
Genius9_9的专栏
07-17 6527
线性回归分为简单线性回归和多元线性回归，下面先简单介绍一下这二者： 1.简单线性回归：只有一个特征值，预测值公式如下： 2.多元线性回归：具有n个特征值，预测值公式如下：（当n=1时，即简单线性回归b=θ0，a=θ1） 多元线性回归方程演变成求θ，使得下列目标值（预测值y的误差平方和）最小： sklearn中LinearRegression中的fit()方法就是通过训练集求出θ...
线性回归 最小二乘 预测模型
03-15
<think>嗯，用户想了解如何使用最小二乘法构建线性回归预测模型。首先，我需要回忆一下线性回归的基本概念。线性回归是监督学习中的一种基础方法，用于建立自变量和因变量之间的线性关系。而最小二乘法则是用来估计模型参数的一种方法，通过最小化预测值与真实值之间的平方差来实现。 根据引用[2]和[3]，线性回归的模型通常是$Y = \beta_0 + \beta_1 X + \epsilon$，其中$\beta_0$是截距，$\beta_1$是斜率，$\epsilon$是误差项。最小二乘法的目标就是找到这些参数，使得所有数据点的预测误差平方和最小。接下来，我需要解释具体的步骤，可能包括数学公式的推导，比如损失函数的构建，如何对参数求导并解方程得到最优解。 然后，用户可能需要实际的实现方法。引用[1]提到了sklearn中的LinearRegression，这可以用来演示如何使用现成的库实现线性回归。同时，引用[4]提到了基于Matlab GUI和最小二乘法的预测模型，但用户的问题更偏向于机器学习，所以重点应该放在Python的实现上。需要区分手动实现和使用库的方法，这样用户既能理解原理，也能应用在实际项目中。 可能用户还会关心最小二乘法的优缺点，比如对异常值的敏感性，或者在线性不可分情况下的表现。此外，需要确保数学公式的正确性，比如矩阵形式的解$\boldsymbol{\beta} = (X^T X)^{-1} X^T Y$，这在引用[3]中有所涉及。要注意解释每个步骤的意义，比如损失函数的选择，为什么使用平方损失而不是绝对损失。 另外，用户的问题中提到“构建预测模型”，所以需要包括模型训练、评估的步骤，比如如何分割数据集，计算R²分数等。引用[3]提到最小二乘法的代数求解和矩阵推导，这部分可能需要详细说明，尤其是矩阵求导的部分，但考虑到用户的层次，可能需要适当简化，强调应用而非推导。 最后，生成的相关问题需要覆盖线性回归的应用场景、最小二乘法的数学原理、与其他方法的对比，以及实际实现中的问题，如过拟合或特征选择。确保这些问题能帮助用户进一步深入理解主题。</think>### 如何使用最小二乘法构建线性回归预测模型 #### 1. **线性回归模型定义** 线性回归假设因变量 $Y$ 与自变量 $X$ 之间存在线性关系，模型表达式为： $$ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p + \epsilon $$ 其中： - $\beta_0$ 是截距项 - $\beta_1, \beta_2, \dots, \beta_p$ 是回归系数 - $\epsilon$ 是误差项，服从均值为0的正态分布[^2][^3] #### 2. **最小二乘法的核心思想** 最小二乘法通过最小化**预测值与真实值的平方误差和**来求解最优参数： $$ \text{损失函数}：L(\beta) = \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \sum_{i=1}^n \left( y_i - (\beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip}) \right)^2 $$ #### 3. **参数求解步骤** ##### (1) 矩阵形式表示 将数据整理为矩阵形式： - 设计矩阵 $X$（包含一列1以对应截距项） - 目标向量 $Y = [y_1, y_2, \dots, y_n]^T$ - 参数向量 $\boldsymbol{\beta} = [\beta_0, \beta_1, \dots, \beta_p]^T$ 模型简化为： $$ Y = X\boldsymbol{\beta} + \epsilon $$ ##### (2) 求导并解方程 对损失函数求导并令导数为0，得到闭式解： $$ \boldsymbol{\beta} = (X^T X)^{-1} X^T Y $$ 该解要求 $X^T X$ 可逆[^3][^4] #### 4. **代码实现** ##### 手动实现（基于NumPy）： ```python import numpy as np # 生成示例数据 X = np.array([[1, 2], [1, 3], [1, 4]]) # 添加一列1 Y = np.array([3, 5, 7]) # 计算参数 beta = np.linalg.inv(X.T @ X) @ X.T @ Y print("回归系数：", beta) # 输出：[1. 2.] ``` ##### 使用Scikit-learn实现： ```python from sklearn.linear_model import LinearRegression model = LinearRegression(fit_intercept=True) # 默认使用最小二乘法 model.fit(X, Y) print("系数：", model.coef_, "截距：", model.intercept_) ``` #### 5. **模型评估** 常用指标： - **均方误差（MSE）**：$\frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2$ - **决定系数（R²）**：反映模型对数据变动的解释能力 ```python from sklearn.metrics import mean_squared_error, r2_score y_pred = model.predict(X) print("MSE：", mean_squared_error(Y, y_pred)) print("R²：", r2_score(Y, y_pred)) ``` #### 6. **适用场景与局限性** - **适用**：变量间关系近似线性、数据噪声较小的情况 - **局限**：对异常值敏感、无法直接处理非线性关系 --- ### §§ 1. 如何解释线性回归中的 $R^2$ 值？ 2. 当 $X^T X$ 不可逆时，有哪些解决方法？ 3. 最小二乘法与梯度下降法在求解线性回归时的区别？ 4. 如何处理线性回归中的多重共线性问题？ 5. 为什么线性回归假设误差项服从正态分布？ [^1]: `sklearn` 中线性回归的实现直接封装了最小二乘法求解过程。 [^2]: 线性回归模型的定义与损失函数选择是建模的核心步骤。 : 最小二乘法的矩阵推导是线性回归的理论基础。 : 最小二乘法在预测模型中的实现需要结合数值计算工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值