吴恩达网易公开课_机器学习【第2课】笔记：线性回归，梯度，正规方程组

1、线性回归

2、梯度

3、正规方程组

 

1、线性回归

 

2、梯度（最小二乘法）

（1）批量梯度下降

每一次迭代，都要用到所有样本，因此，当样本量很大时，这个方法很难求。提出随机梯度下降。

 

（2）随机梯度下降/增量梯度下降

每次迭代只用一个样本，这样得到的结果可能是局部最优解，或者无限逼近全局最优解。但大部分情况下，局部最优解/逼近全局最优解已经可以满足条件。

 

3、正规方程组