浩仔的机器学习旅途——Linear Regression（线性回归）

什么是线性回归？

  线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。

简单的线性回归

  这里选取一元一次的简单线性回归来介绍线性回归，后面的多元线性回归将介绍复杂的回归。

假设函数

  假设x，y间存在关系： y = θ₀ + θ₁ * x ,函数被称为假设函数。
  对于假设函数中的参数θ₀ 、θ₁ ，我们无法直接计算出它们的值，也无法取一组θ₀ 、θ₁ 的值使得所有的样本点都落到函数曲线 y = θ₀ + θ₁ * x 上，我们只能计算出一组θ₀ 、θ₁ 的值使得函数能最大限度的模拟样本规律。

代价函数

  代价函数，顾名思义是用来评价θ₀ 、θ₁ 质量的函数，代价函数越小表明函数能更好地模拟样本。
  代价函数 J(θ₀ , θ₁) = $\frac{1}{2m}\ast {\sum }_{i=1}^m({\theta }_0+{\theta }_1\ast x-y_i{)}^2$ ， 代价函数表示的是预测值 θ ₀ + θ ₁ * x 与 真实值y_i 的平方差的平均值，函数值越小说明函数的拟合程度越好。（代价函数有很多种，平方误差代价函数是其中的一种，是解决线性回归最常用的一种）。
  计算代价函数 θ ₀ ， θ ₁的问题 转化成了：求θ ₀ 、 θ ₁ 的值使得代价函数的值最小。接下来我们看一下如何求θ ₀ 、 θ ₁ 的值。

梯度下降

  梯度下降算法用来求代价函数的最小值，可以把代价函数想象成一座山，梯度下降就是一个人从山的某一个位置一步一步的往山下走，直到这个人在自己的周围找不到能更往下的道路，这时这个人便到达了局部最优或者全局最优。此时 $\frac{\partial (J{\theta }_0,{\theta }_1)}{\partial {\theta }_0}$、$\frac{\partial (J{\theta }_0,{\theta }_1)}{\partial {\theta }_1}$的值等于0或接近0.
  梯度下降的过程是通过不断更新 θ ₀ 、 θ ₁ 的值实现的：

        ${\theta }_j={\theta }_j-\alpha \ast \frac{\partial (J{\theta }_0,{\theta }_1)}{\partial {\theta }_j}$

  其中 α 对应于学习率，控制参数 θ ₀ 、 θ ₁ 的变化幅度，可以理解为下山的人的步幅。这里需要注意的是 θ ₀ 、 θ ₁ 的值要同步更新，不可以先更新一个值，然后拿更新后的参数再去更新另一个参数。

  将代价函数 J(θ₀ , θ₁) 代入梯度下降公式，得到：

        $\frac{\partial (J{\theta }_0,{\theta }_1)}{\partial {\theta }_0}=\frac{1}{m}\ast {\sum }_{i=1}^m(h_{\theta }(x^i)-y^i)\ast x_0^i$

        $\frac{\partial (J{\theta }_0,{\theta }_1)}{\partial {\theta }_1}=\frac{1}{m}\ast {\sum }_{i=1}^m(h_{\theta }(x^i)-y^i)\ast x_1^i$

  将导数结果代入参数更新公式 ${\theta }_j={\theta }_j-\alpha \ast \frac{\partial (J{\theta }_0,{\theta }_1)}{\partial {\theta }_j}$ 中，在迭代次数范围内不断更新参数 θ ₀ 、 θ ₁ ，得到 θ ₀ 、 θ ₁ 的最优值。
起始点的选取对最终的结果也会有影响，这里借用一下别人的图形象的展示一下：

多元线性回归

 
  前面的简单线性回归只是为了便于理解，很难解决现实中的问题，因为现实中的问题往往牵涉到很多的变量，例如房屋的价格牵涉到户型、面积大小、楼层、房龄、城市级别等变量，这就是多元线性回归问题。
 

假设函数

      $h(x)={\theta }_0+{\theta }_1\ast x_1+{\theta }_2\ast x_2+{\theta }_3\ast x_3+...+{\theta }_n\ast x_n$

      参数 θ 可以表示为$\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ...\\ {\theta }_n{\_}_1\\ {\theta }_n\end{array}\right]$

 
 
  自变量X可以表示为 $X=\left[\begin{array}{c}{X}_0\\ X_1\\ X_2\\ ...\\ X_m{\_}_1\\ X_m\end{array}\right]=\left[\begin{array}{cccccc}{X}_1^0& X_1^1,& X_1^2,& X_1^3& ...& X_1^n\\ X_2^0& X_2^1,& X_2^2,& X_2^3& ...& X_2^n\\ X_3^0& X_3^1,& X_3^2,& X_3^3& ...& X_3^n\\ .....& & & & & \\ X_m^0& X_m^1,& X_m^2,& X_m^3& ...& X_m^n\end{array}\right]$
 
  共有n+1个参数变量（θ₀ 也可以算为一个变量参数，是x⁰ 的参数，x⁰ 的值为1）。
  共有m个样本，每个样本都有n+1个样本值。
 
  假设函数可以表示为 h(x) = X**θ
 

代价函数

 
         $J({\theta }^T)=\frac{1}{2m}\ast {\sum }_{i=1}^m(h({\theta }_i)-y_i{)}^2$
 

梯度下降

 
        ${\theta }_j={\theta }_j-\alpha \ast \frac{\partial (J{\theta }^T)}{\partial {\theta }_j}$
 
  经计算偏导代入上述公式，得到各参数的更新公式如下：
 
        ${\theta }_0={\theta }_0-\alpha \ast \frac{1}{m}{\sum }_{i=1}^m(h(x_i)-y_i)\ast x_i^0$
        ${\theta }_1={\theta }_1-\alpha \ast \frac{1}{m}{\sum }_{i=1}^m(h(x_i)-y_i)\ast x_i^1$
        …
        ${\theta }_n={\theta }_n-\alpha \ast \frac{1}{m}{\sum }_{i=1}^m(h(x_i)-y_i)\ast x_i^n$
 
  通过不断迭代更新 θ 使得代价函数最小，从而得到最优的参数 θ 。
 

总结

  线性规划本质上是寻找合适的变量参数使代价函数最小化，用函数h(θ)更好地模拟数据规律。
  本人是刚开始学习机器学的菜鸟一枚，通过记录学习过程增强自己的理解，也顺便分享给有需要的人，还请各位多多指正。