（一）.单变量线性回归及梯度下降

1. 定义：只有一个特征（输入）变量的问题称为单变量线性回归问题，可以表示为:$h_{\theta }(x)={\theta }_0+{\theta }_1(x)$,其中${\theta }_i,i=1,2$是待定参数。

为了找出最好的直线来拟合给定数据，我们需要定义代价函数（Cost function）

2. Cost function：
   $$J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$$
   其中，m是训练样本数量。
   我们想要使模型所预测的值与训练集中实际值之间的差距，也就是让cost function取最小值。
   我们的目标是找出参数${\theta }_i,i=1,2$使得$J\left({\theta }_0,{\theta }_1\right)$最小。
3. 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数$J\left({\theta }_0,{\theta }_1\right)$的最小值。
   其思想是：开始时我们随机选择一个参数的组合$\left({\theta }_0,{\theta }_1,\dots \dots ,{\theta }_n\right)$，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到找到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。
   梯度下降算法：循环直至收敛
   $${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left({\theta }_0,{\theta }_1\right)forj=1andj=0$$
   线性回归模型：
   $h_{\theta }(x)={\theta }_0+{\theta }_1(x)$
   $J\left({\theta }_0,{\theta }_1\right)=\frac{1}{2m}{\sum }_{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$
   线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：$$\frac{\partial }{\partial {\theta }_j}J\left({\theta }_0,{\theta }_1\right)=\frac{\partial }{\partial {\theta }_j}\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)}^2$$
   $$\begin{array}{l}j=0\text{ 时 }:\frac{\partial }{\partial {\theta }_0}J\left({\theta }_0,{\theta }_1\right)=\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\\ j=1\text{ 时 }:\frac{\partial }{\partial {\theta }_1}J\left({\theta }_0,{\theta }_1\right)=\frac{1}{m}{\sum }_{i=1}^m\left(\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\cdot x^{(i)}\right)\end{array}$$
   则算法改写成： 循环直至收敛
   $$\begin{array}{rl}& {\theta }_0:={\theta }_0-a\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\\ & {\theta }_1:={\theta }_1-a\frac{1}{m}\sum _{i=1}^m\left(\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)\cdot x^{(i)}\right)\end{array}$$

参考文献：黄海广博士的机器学习个人笔记完整版v5.5