Andrew Ng机器学习公开课02：监督学习应用：梯度下降

主要内容：线性回归（linear regression）、梯度下降（gradient descent）、正规方程组（normal equations）

例：神经网络（梯度下降）控制汽车运行：监督学习；回归问题（原因：汽车尝试预测表示行驶方向的连续变量的值）

例：房价预测（房屋大小、房价 ，47组数据）

m: 训练样本数； x: 输入； y:输出

线性预测：hθ(x) = θ0 + θ1x1 + θ2x2

最小化误差函数： （二分之一是为简化数学计算）最小平方回归、最小二乘

 

求最小化算法：搜索算法：梯度下降：可以找到局部极小值（初始点位置的不同可能会使最终结果到达不同的极小点）

迭代更新公式：

批量梯度下降：每一次迭代需要遍历所有数据样本

随机梯度下降：适用于样本数量极大时，不需要遍历所有数据，可能不会收敛于全局最小值，会徘徊在附近，但比批量梯度下降要快