线性回归（Linear regression）

定义

线性回归（Linear regression）是一种以线性模型假设来拟合自变量与因变量之间关系的方法。通常来说，当自变量只有一个的情况被称为一元线性回归，自变量大于一个的情况被称为多元线性回归。

一元线性回归如下图所示，线性模型由图中直线表示。

基本原理

• 函数假设：线性函数
• 损失函数：平方损失函数
• 学习方法：
  • 最小二乘法
  • 梯度下降法

存在自变量为$x_1,x_2,...,x_m$，因变量为$y$，
假设$x_1,x_2,...,x_m$与$y$之间存在线性关系，且加入误差变量$\epsilon$，
则线性模型$f(\text{x})$可表示为：
$y=w_1{x}_1+w_2{x}_2+...+w_m{x}_m+b+\epsilon ={\text{w}}^T\text{x}+\epsilon =f(\text{x})+\epsilon$，
$\text{w}=[w_1,w_2,...,w_m,b{]}^T,\text{x}=[x_1,x_2,...,x_m,1{]}^T$

通过最小二乘法，利用随机抽取的n个样本$(x^{(i)},y^{(i)}),i=1,2,...,n$，对参数$\text{w}$进行估计，得到线性回归模型的目标函数并对其最小化：

$\underset{f}{\min }{\sum }_{i=1}^n{\epsilon }^{(i)}={\sum }_{i=1}^n(y^{(i)}-f({\text{x}}^{(i)}){)}^2$,
最终表示为
min ⁡ w ∑ i = 1 n ( y ( i ) − w T x ( i ) ) 2 \min \limits_{\textbf{w}} \sum_{i=1}^n (y^{(i)}-\textbf{w}^{T}\textbf{x}^{(i)})^2 wmin​∑i=1n​(y(i)−w