机器学习笔记（V）线性模型(I)一维最小二乘法

基本形式

给定由$d$个属性描述的示例$x=(x_1;x_2;\dots;x_d)，$其中$x_i$是$\mathbf{x}$在第$i$个属性上的取值，线性模型试图学得一个线性的组合来进行预测的函数
即：

$$f(\mathbf{x})=w_1x_1+w_2x_2+\dots+w_dx_d+b$$
向量形式为：

$$f(\mathbf{x})=w^T\mathbf{x}+b$$
其中$w=(w_1;w_2;\dots;w_d)$
$w$和$b$学得之后模型就得以确定

线性回归

给定的数据集$D=\left\{(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),\dots,(\mathbf{x}_m,y_m)\right\}$
其中$\mathbf{x}_i=(x_{i1};x_{i1};\dots;x_{id}),y_i\in\mathbb{R}$
“线性回归”试图学得一个线性模型以尽可能准确地预测实值得输出标记。

最小二乘法

便于讨论考虑一种简单情况，输入属性的数目只有一个。
数据集为$D=\left\{(x_i,y_i)\right\}_{i=1}^{m}$其中$x_i\in\mathbb{R}$
线性回归处理
$f(x_i)=wx_i+b$,使得$f(x_i)\approx{y_i}$

均方误差：

$$E(f;D)=\dfrac{1}{m}\sum\limits_{i=1}^{m}\left(f(x_i)-y_i\right)^2$$

让均方误差最小化

$$\begin{equation} \begin{aligned} \left(w^*,b^*\right)=\mathop{\arg\min}_{(w,b)}\sum\limits_{i1}^{m}\left(f(x_i)-y_i\right)^2\\=\mathop{\arg\min}_{(w,b)}\sum\limits_{i1}^{m}\left(y_i-wx_i-b\right)^2 \end{aligned} \end{equation}$$
基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method)

最小二乘法的目的

试图找到一条直线，使得所有样本到直线上的欧式距离之和最小。
求解$w$和$b$使得$E_{(w,b)}=\sum_{i=1}^{m}(y_i-wx_i-b)^2$最小化的过程，称为线性回归模型的最小二乘“参数估计”。
将$E_{(w,b)}$分别对$w$和$b$求导，得到

$$\begin{equation} \begin{split} \dfrac{\partial{E(w,b)}}{\partial{w}}&=2\left(w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}(y_i-b)x_i\right)\\ \dfrac{\partial{E(w,b)}}{\partial{b}}&=2\left(mb-\sum\limits_{i=1}^{m}(y_i-wx_i)\right) \end{split} \end{equation}$$
令上面的两个等式为零：
$$\left\{ \begin{aligned} \dfrac{\partial{E(w,b)}}{\partial{w}}&=0\\ \dfrac{\partial{E(w,b)}}{\partial{b}}&=0 \end{aligned} \right.$$
于是有：
$$\left\{ \begin{aligned} w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}(y_i-b)x_i&=0 \text{ (1)}\\ mb-\sum\limits_{i=1}^{m}(y_i-wx_i)&=0\text{ (2)} \end{aligned} \right.$$

由式$\text{(2)}$得

$$b=\dfrac{1}{m}\sum\limits_{i=1}^{m}(y_i-wx_i)\text{ (3)}$$
将式$\text{(3)}$代入式$\text{(1)}$得到
$$\begin{aligned} w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}[y_i-\dfrac{1}{m}\sum\limits_{j=1}^{m}(y_j-wx_j)]x_i&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}[y_i-\dfrac{1}{m}\sum\limits_{j=1}^{m}(y_j-wx_j)]x_i&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}[x_iy_i-\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}(y_j-wx_j)]&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\left[\sum\limits_{j=1}^{m}y_j-\sum\limits_{j=1}^{m}wx_j\right]&=0\\ w\sum\limits_{i=1}^{m}x_i^2-\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j-\frac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2&=0\\ \end{aligned}$$
化简得到：
$$\begin{aligned} w\left(\sum\limits_{i=1}^{m}x_i^2-w\left(\sum\limits_{j=1}^{m}x_j\right)^2\right)&=\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j\\ w&=\dfrac{\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2}\\ w&=\dfrac{\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2}\\ w&=\dfrac{\sum\limits_{i=1}^{m}x_iy_i-\sum\limits_{i=1}^{m}\dfrac{1}{m}x_i\sum\limits_{j=1}^{m}y_j}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{j=1}^{m}x_j\right)^2}\\ \text{统一符号} \downarrow\\ w&=\dfrac{\sum\limits_{i=1}^{m}y_i(x_i-\overline{x})}{\sum\limits_{i=1}^{m}x_i^2-\dfrac{1}{m}w\left(\sum\limits_{i=1}^{m}x_i\right)^2}\\ \end{aligned}$$
其中$\overline{x}=\dfrac{1}{m}\sum\limits_{i=1}^{m}x_i$