吴恩达机器学习笔记2

Linear regression with one variable

Model representation

来看一个房价预测问题。

模型描述中的一些符号。

2-2 Cost function

线性回归Linear regression

2-3 Cost function intuition I

2-4 Cost function intuition II

2-5 Gradient descent intuition I（Simultaneous update）

2-6 Gradient descent intuition II

导数项的意义：当导数项为负数时，也就是点的切线的斜率为负数时，θ加上一个步长；当导数项为正数时，也就是点的切线的斜率为正数时，θ减去一个步长；当导数项为0时，则θ为局部最优解。

当θ更新后值不变时，这正是我们想要的，也就是局部最优解。

根据斜率自动更新步长，斜率（绝对值）越大，步子越大，斜率（绝对值）越小，步子也越小。

2-7 Gradient descent for linear regression

接下来要将梯度下降应用到线性回归中

simultaneous update

梯度下降很容易陷入局部最优，解决这个问题是一件比较头疼的事。我们讨论的线性回归模型一般都是一个凸函数（convex function），也就是一个碗状的（bowl-shaped）曲面。

它只有一个全局最优解（global optimum）。

先让θ0到达最优，再改变θ1到达最优？
这是一个Batch gradient descent。