2.4 梯度下降法

梯度下降法

如何使用梯度下降法来训练或学习训练集上的参数w和b。

之前，我们定义了logistic回归算法 y ̂以及 成本函数 J。
这个成本函数J的参数是w和b。
定义为平均值，1/m 的 损失函数之和。
其中的损失函数
可以衡量你的算法的效果，每一个训练样例都输出yi ̂，再把它 与基本 真值标签yi进行比较。
如果想要通过学习获得合适的参数w和b，就需要通过 找到一个 w，b值，能让成本函数J尽可能的小，这就需要使用到梯度下降法。

图形的高，代表了J(w,b)在某一点的值。我们需要做的就是，找到这个图形的最小值。
为了找到更好的参数值，我们要做的就是用某个初始值，去初始化w和b。对于，logistic回归而言，几乎任意的初始化方法都是有效的。通常使用0，或是任意值。但在logistic回归中，我们通常不这么做。因为函数是凸的，无论在哪里初始化，都应该达到同一个点或是大致相同的点。