线性回归 linear regression 原理及推导

最新推荐文章于 2025-07-20 21:34:25 发布

木杉Vincent

最新推荐文章于 2025-07-20 21:34:25 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习线性回归

本文链接：https://blog.youkuaiyun.com/neverever01/article/details/83271374

机器学习专栏收录该内容

9 篇文章

订阅专栏

概述

优点：容易计算，易于理解和实现
缺点：容易欠拟合
适用数据类型：数值型和标称型

口头描述

线性回归试图构造一个线性函数，去拟合尽可能多的样本点。重点是如何确定线性函数的参数，使得该函数尽量穿过样本点，一般使用均方误差最小化来作为参数拟合效果的标准。

算法推导（解方程的方法）

给定训练数据集 $D=\{(x_i,y_i)\}_{i=1}^m$ ,样本 $x_i$ 由 $d$ 个属性描述，线性模型为:
$f_\omega(x)=\omega^Tx+b \; ,\;f(x) \backsimeq y$
使用均方误差衡量 $f (x)$ 与 $y$ 之间的差别，我们的目标是使他们的差别最小化。
$E_s(square \; loss)=\sum_{i=1}^{m}(f(x_i)-y_i)^2$
使用矩阵进行表达
- 参数向量矩阵：
  $ω^=(ω;b)=[ω1ω2...ωdb] \hat{\omega}=(\omega ;b)= \begin{bmatrix} \omega_1 \\ \omega_2\\ ... \\ \omega_d \\ b \end{bmatrix}$
  注意: $ω^\hat{\omega}$ 是 $d + 1$ 行 $1$ 列的
- 数据集矩阵：
  $X=\begin{bmatrix} x_{11}&x_{12}&\dots&x_{1d}&1 \\ x_{21}&x_{22}&...&x_{2d}&1 \\ \vdots&\vdots&\ddots& \vdots&\vdots\\ x_{m1}&x_{m2}& \dots&x_{md}&1 \end{bmatrix} =\begin{bmatrix} x_1^T&1 \\ x_2^T&1 \\ \vdots&\vdots \\ x_m^T&1 \end{bmatrix}$
  注意：最后一列全是1，前d个元素对应样本的d个属性值
- 标记矩阵:
  $y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}$
则均方误差为：
$Es=(y−Xω^)T(y−Xω^) E_s=(y-X\hat{\omega})^T(y-X\hat{\omega})$
令 $Eω^=(y−Xω^)T(y−Xω^)E_{\hat{\omega}}= (y-X\hat{\omega})^T(y-X\hat{\omega})$ ,对 $ω^\hat{\omega}$ 求导得：
$∂Eω^∂ω^=2XT(Xω^−y) \frac{\partial E_{\hat{\omega}}}{\partial \hat{\omega}}=2X^T(X\hat{\omega}-y)$
令上式为零可得 $ω^\hat{\omega}$ 的最优解的闭式解
$ω^∗=(XTX)−1XTy \hat{\omega}^*=(X^TX)^{-1}X^Ty$
解出上式，也就得到了模型的公式：
$f(xi^)=xi^T(XTX)−1XTy f(\hat{x_i})=\hat{x_i}^T(X^TX)^{-1}X^Ty$
其中，
$xi^=[xi1xi2⋮xid1] \hat{x_i}= \begin{bmatrix} x_{i1}\\ x_{i2}\\ \vdots \\ x_{id} \\ 1 \end{bmatrix}$

算法推导（梯度下降）

目标是使均方误差最小化，即：
$min E(square loss)=12m∑i=1m(fω^(xi)−yi)2 min \;E(square \; loss)=\frac{1}{2m}\sum_{i=1}^{m}(f_{\hat{\omega}}(x_i)-y_i)^2$
这里的 $12m\frac{1}{2m}$ 是为了方便求偏导

对误差函数做偏导,对于每个特征( $ωn\omega ^n$ )，其梯度（偏导）为：
$∂E∂ωn=1m∑i=1m(fω^(xi)−yi)⋅xin \frac{\partial E}{\partial \omega^n}=\frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^n_i$
这里是对每一个特征进行了求导，因为
$fω^(xi)=ω0xi0+ω1xi1+⋯+ωnxin   (xi:the ith data) f_{\hat{\omega}}(x_i)=\omega ^0x^0_i +\omega^1x^1_i+\dots+\omega^nx^n_i\;\;\;(x_i:the \; i^{th} \; data)$
则梯度下降的流程就是：

重复此过程直到收敛 {

$ω0:=ω0−α1m∑i=1m(fω^(xi)−yi)⋅xi0 \omega^0:=\omega^0-\alpha \frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^0_i$
$ω1:=ω1−α1m∑i=1m(fω^(xi)−yi)⋅xi1 \omega^1:=\omega^1-\alpha \frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^1_i$
$\vdots$
$ωn:=ωn−α1m∑i=1m(fω^(xi)−yi)⋅xin \omega^n:=\omega^n-\alpha \frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^n_i$
}

解释一下， $∑i=1m(fω^(xi)−yi)\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)$ 的意思是计算每个预测值与实际值的差别的总和。另外，对每个 $ωi\omega^i$ 进行更新都是独立的，应当把所有的 $ωi\omega^i$ 全部计算出来后再对其进行赋值更新。