线性回归深度理解

原创

已于 2022-06-12 21:24:09 修改 · 539 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #线性回归

于 2022-05-30 16:37:58 首次发布

本文详细介绍了线性回归，包括基本公式、损失函数、参数优化和多角度理解，如概率和几何角度。接着讨论了带正则项的线性回归，如Lasso、Ridge和Elastic Net，分析了它们的特点和应用场景。最后探讨了多项式回归和带核函数的线性回归，强调了选择合适映射维度的重要性。

本文目录

一、经典的线性回归
二、带正则项的线性回归
三、多项式回归
- Basis Expansion
- 带核函数的线性回归

线性回归模型是一种确定变量之间的相关关系的一种数学回归模型。一般用来处理变量之间满足一定线性关系的问题
在这里插入图片描述

一、经典的线性回归

1.简单介绍

其基本公式为 $\hat{Y_i}=\beta_0+\beta_1X_{i1}+\beta_2X_{i2}+...+\beta_pX_{ip},\quad\quad i=1,...,n$
矩阵表达形式为： $\hat Y=\beta^TX$

其中 $\hat Y$ 是所有数据的预测标签，为一个列向量
$\hat Y = \left( {\begin{array}{cc} \hat Y_1 \\ \hat Y_2 \\ .\\ .\\ .\\ \hat Y_n \end{array} } \right)$
$\beta$ 是所有参数值构成的列向量
$\beta = \left( {\begin{array}{cc} \beta_0 \\ \beta_1 \\ .\\ .\\ .\\ \beta_p \end{array} } \right)$
$X$ 是 $n\cdot p$ 的矩阵，其中 $n$ 为当前样本的数据量， $p$ 为参数的个数（其第一列元素全为1，做矩阵运算时用来与 $\beta_0$ 相乘）

$\left( {\begin{array}{cccc} 1 & x_{11} & \cdots & a_{1p}\\ 1 & x_{21} & \cdots & a_{2p}\\ \vdots & \vdots & \ddots & \vdots\\ 1 & x_{n1} & \cdots & a_{np}\\ \end{array} } \right)$

2.损失函数

这里我们可以采用平方损失函数来表示预测值与真实值之间的误差：
$\begin{aligned}L(\beta)&=||\hat Y-Y||^2\\&=||\beta^TX-Y||^2\\&=(\beta^TX-Y)^T(\beta^TX-Y)\end{aligned}$

3.参数优化

最小二乘法

很显然该损失函数是一个关于 $\beta$ 的凸函数，因此我们可以采用最小二乘法求解其解析解（即另其对 $\beta$ 的导数为0），求解可得：
$\beta=(X^TX)^{-1}X^TY$
这里对求解过程感兴趣的可以看一下我的另一篇博客，其中有具体的推导过程ALS算法理解

梯度下降

同时我们可以采用梯度下降的方式进行参数优化，首先我们可以计算出某一点的梯度：
$\begin{aligned}L(\beta)&=||\hat Y-Y||^2\\&=||\beta^TX-Y||^2\\&=(\beta^TX-Y)^T(\beta^TX-Y)\end{aligned}$
$\frac{\partial L(\beta)}{\partial \beta}=(\beta^TX-Y)X$