线性回归 最小二乘法求

• 回归是另一类重要的监督学习算法。与分类不同的是，回归问题的目标是通过对训练样本的学习，得到从样本特征到样本标签之间的映射，且样本标签是连续值。
• 线性回归的问题中，目标值与特征之间存在线性相关的关系
• 线性回归模型

  • 对于线性回归算法，希望从训练数据中学习到线性回归方程，即：$$y=b+\sum _{i=1}^n{w}_i{x}_i$$
    其中，b是偏置，$w_i$是回归系数，另$x_0=1$ 则回归方程为：$$y=\sum _{i=0}^n{w}_i{x}_i$$

• 损失函数

  线性回归的损失函数可以是绝对损失$d=|y-\hat{y}|$或者平方损失$d=(y-\hat{y}{)}^2$.

• 最小二乘法求解以及推导

  看了书上的矩阵方式，不太懂，就用一般的方式求吧。

  • 假设最终的直线方程为$y=ax+b$,存在一个数据集 { ( x 1 , y 1 ) , ( x 2 , y 2 , . . . . . . , ( x n , y n ) ) } \left \{ (x_{1},y_{1}),(x_{2},y_{2}, ......,(x_{n},y_{n}))\right \} {(x1​,y1​),(x2​,y2​,......,(xn​,yn​))}。则对于数据集中的点$(x_i,y_i)$的回归误差为$d=y_i-a{x}_i-b$。那么对于整个数据集来说，误差为：$$D=\sum _{i=1}^n(y_i-a{x}_i-b{)}^2$$
    所以，只要使得整个数据及上的误差尽可能的小，则回归方程拟合的越好。所以取极值对a,b求导。
  • 误差函数对a求导：$$\frac{\vartheta }{\vartheta a}D=\sum _{i=1}^{n}2(y_i-a{x}_i-b)\ast (-x_i)$$
  • 误差函数对b求导：$$\frac{\vartheta }{\vartheta b}D=\sum _{i=1}^{n}2(y_i-a{x}_i-b)\ast (-1)$$
  • 令$\frac{\vartheta }{\vartheta b}D=0$得：$$b=\bar{y}-a\bar{x}$$
  • 令$\frac{\vartheta }{\vartheta a}D=0$并将$b=\bar{y}-a\bar{x}$代入得到:$$a=\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{{\sum }_{i=1}^n{x}_i^2-n\bar{x}}$$
    因为：$$\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})=\sum _{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}$$
    $$\sum _{i=1}^n(x_i-\bar{x}{)}^2=\sum _{i=1}^n{x}_i^2-n\bar{x}$$
    所以：$$a=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}$$
  • 所以根据上述的公式，将数据集的数据代入即可求得a b参数。