吴恩达机器学习笔记：逻辑回归5

1.简化的成本函数和梯度下降

这篇我们将会找出一种稍微简单一点的方法来写代价函数，来替换我们现在用的方法。同时我们还要弄清楚如何运用梯度下降法，来拟合出逻辑回归的参数。
这就是逻辑回归的代价函数：

这个式子可以合并成：$$Cost(h_{\theta }(x),y)=-y\times \log (h_{\theta }(x))-(1-y)\times \log (1-h_{\theta }(x))$$
即：
$$\text{Cost}(h_{\theta }(x),y)=-y\times \log (h_{\theta }(x))-(1-y)\times \log (1-h_{\theta }(x))=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log \right(h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})\left)\right]$$

根据这个代价函数，为了拟合出参数，该怎么做呢？我们要试图找尽量让J($\theta$)取得最小值的参数$\theta$。
如果我们给出一个新的样本，假如某个特征$x$，我们可以用拟合训练样本的参数$\theta$，来输出对假设的预测。

最小化代价函数的方法，是使用梯度下降法(gradient descent)。
我们的代价函数：
$$J（\theta ）=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log \right(h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})\left)\right]$$
如果我们要最小化这个关于$\theta$的函数值，这就是我们通常用的梯度下降法的模板:

我们要反复更新每个参数，用这个式子来更新，就是用它自己减去学习率$\alpha$乘以后面的微分项。

如果你有 𝑛 个特征,也就是说：

参数向量$\theta$包括${\theta }_0$ ,${\theta }_1$, ${\theta }_1$ 一直到${\theta }_n$，那么你就需要用这个式子,把每个$\theta$都更新一下。如果你把这个更新规则和我们之前用在线性回归上的进行比较的话，你会惊讶地发现，这个式子正是我们用来做线性回归梯度下降的。
那么，线性回归和逻辑回归是同一个算法吗？实际上，假设的定义发生了变化。
对于线性回归假设函数：
$$h_{\theta }(x)={\theta }^{T}X={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$$

而现在逻辑函数假设函数：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

因此，即使更新参数的规则看起来基本相同，但由于假设的定义发生了变化，所以逻辑函数的梯度下降，跟线性回归的梯度下降实际上是两个完全不同的东西