机器学习笔记（二）——线性回归

线性回归

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } D = \{ ({x_1},{y_1}),({x_2},{y_2}), \cdots ,({x_m},{y_m})\} D={ (x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}，其中$x_i=(x_{i1};x_{i2};\cdots ;x_{id})$,$y_i\in R.$线性回归试(linear regression)图学得一个线性模型以尽可能的准确的预测实值输出标记。

这里$x_i$表示数据集中第$i$个样本，该样本总共有$d$个特征。

1.单变量线性回归

由于是单变量，输入的样本特征只有一个，此时我们忽略关于样本特征的下标，即 D = { ( x i , y i ) } i = 1 m D = \{ ({x_i},{y_i})\} _{i = 1}^m D={ (xi​,yi​)}i=1m​，其中$x_i\in R$。对于离散属性，若特征值间存在“序”(order)关系，可通过连续化将其转化为连续值。
线性回归试图学得
$$f(x_i)=w{x}_i+b,使得f(x_i)\simeq y_i$$
确定$w$与$b$的值，关键在于如何衡量$f(x)$与$y$之间的差异，而均方误差则是回归任务中最常用的性能度量，因此需要让均方误差最小化，即$w$与$b$的解$w^{\ast }与b^{\ast }$为
$\begin{array}{rl}(w^{\ast },b^{\ast })& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{(f(x_i)-y_i)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{(y_i-w{x}_i-b)}^2\end{array}$

均方误差的几何意义对应于欧几里得距离即“欧氏距离”，而基于均方误差最小化来进行模型求解的方法则是“最小二乘法”，“最小二乘法”实质上就是找到一条直线，使所有样本数据到该直线的欧式距离之和最小，即误差最小。
求解$w$与$b$是使代价函数$J(w,b)=\frac{1}{2}\sum _{i=1}^m{(y_i-w{x}_i-b)}^2$最小化的过程，$J(w,b)$是关于$w$和$b$的凸函数，当它关于$w$和$b$的导数均为0时，得到$w$和$b$的最优解。得到
$$\begin{array}{rl}\frac{\partial J(w,b)}{\partial w}& =w\sum _{i=1}^m{x_i}^2-\sum _{i=1}^m(y_i-b)x_i\\ \frac{\partial J(w,b)}{\partial b}& =\sum _{i=1}^{m}b-\sum _{i=1}^m{y}_i+\sum _{i=1}^{m}w{x}_i=mb-\sum _{i=1}^m(y_i-w{x}_i)\end{array}$$