小白学机器学习西瓜书-第三章线性回归

前段时间学习了机器学习这本书，这本书把我们比较熟悉的算法的本质和公式推导都进行了阐述，当中也有一些学习曲线比较陡峭的内容，自己学习了之后也一直有总结的想法，所以趁这段时间进行一下回顾。
这个小白系列都会力求不跳步，简单易懂，对于各种数学知识点也会进行穿插。
参考来自周志华老师的机器学习西瓜书以及互联网上的各种视频、文本讲解。
讲述的脉络也是跟着该书的逻辑，提取重点，当然，公式推导部分会详细描述。

3.1 基本形式

​简单的线性模型：（x有d个属性，所以里面的都是x的属性）
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b\text{\hspace{1em}(1)}$$

​设 $w=(w_1;w_2;...;w_d)$，而 $x=(x_1;x_2;...;x_d)$

所以可以用向量形式写为：
$$f(x)=w^{T}x+b\text{\hspace{1em}(2)}$$

3.2 线性回归

3.2.1 二元线性回归

让我们先从最简单的情形开始

假设我们有一个数据集里面有变量X和Y：

$X$	$Y$
$x_1$	$y_1$
$x_2$	$y_2$
…	…
$x_m$	$y_m$

线性回归算法试图学得下式
$$f(x_i)=w{x}_i+b，使得f(x_i)的值无限接近于y_i\text{\hspace{1em}(3)}$$

所以我们需要确定上面式子中的w和b，即可学习到式（3）

因此我们一般使得均方误差最小化，即找出使${\sum }_{i=1}^m(f(x_i)-y_i{)}^2)$这个式子最小的w和b
$$\begin{array}{rl}(w^{\ast },b^{\ast })& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(w{x}_i+b-y_i{)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}\text{\hspace{1em}(4)}$$

上面的这个过程称之为最小二乘的参数估计，为了求上面的w和b，我们需要对这个式子分别对w和b求偏导。
(可以用偏导的方法求最小值是因为式（4）无论对于w或是b而言都是二次函数，二次函数为凸函数)

记$E(w,b)={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$，先对b求偏导 (即把其他非b字母看作常数)
$$\begin{array}{rl}\frac{\partial E(w,b)}{\partial b}& =\frac{\partial {\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2}{\partial b}\\ & =\frac{\partial {\sum }_{i=1}^m(y_i^2+w^2{x}_i^2+b^2+2w{x}_{i}b-2y_{i}w{x}_i-2y_{i}b)}{\partial b}\\ & =\sum _{i=1}^{m}2b+2w{x}_i-2y_i\\ & =2mb-2\sum _{i=1}^m(y_i-w{x}_i)\\ & =2(\end{array}$$