关于线性回归：梯度下降和正规方程（gradient descend、normal equation）

1、梯度下降法

假设：
- x：输入特征
- y：样本标签，实际输出
- (x,y)：训练样本
- m表示训练样本总数，loop：i
- n表示特征总数，loop：j

目的是通过对训练样本进行学习，构造一个模型，使得能够对任意的输入进行预测。
获得合适的参数，使得h(x)与y之间的差距最小，即求损失函数的最小值。

线性方程：

损失函数：

梯度递减函数：

参数更新函数：

其中，是learningRate，可以根据经验取值{0.01,0.03,0.1,0.3,1,1.3}等，也可以根据自己的情况，多次训练，取收敛最快的。

随着收敛越来越接近，梯度也会越来越小；选取的初始下降位置不同，收敛的位置就不一样。

2、正规方程

输入样本可表示为：

样本标签表示为：

由

可得损失函数：

必须使得损失函数有最小值，同上，须求得损失函数有的最小值时的参数，因此可求关于