吴恩达机器学习笔记：逻辑回归4

下面我们介绍如何拟合逻辑回归模型的参数θ。
具体来说，要定义用来拟合参数的优化目标或者叫代价函数，这便是监督学习问题中的逻辑回归模型的拟合问题。

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。
理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）。

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。
线性回归的代价函数为 ：$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

我们重新定义逻辑回归的代价函数为:
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\text{cost}(h_{\theta }(x^{(i)}),y^{(i)})$$

$h\theta (x)$与 $\text{cost}(h_{\theta }(x^{(i)}),y^{(i)}))$之间的关系如下图所示：

这样构建的$cost(h_{\theta }(x),y)$函数的特点是：
当实际的 y = 1 且$h_{\theta }(x)$也为 1 时误差为 0，
当 y = 1 但$h_{\theta }(x)$不为 1 时误差随着$h_{\theta }(x)$变小而变大；
当实际的 y = 0 且$h_{\theta }(x)$也为 0 时 代价为 0
当y = 0 但$h_{\theta }(x)$不为 0 时误差随着 $h_{\theta }(x)$的变大而变大。

将构建的 $cost(h_{\theta }(x),y)$简化如下：
$$cost(h_{\theta }(x),y)=-y\times log(h_{\theta }(x))-(1-y)\times log(1-h_{\theta }(x))$$
带入代价函数得到：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log \right(h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})\left)\right]$$

我们定义了单训练样本的代价函数，凸性分析的内容是超出范围的，但是可以证明我们所选的代价值函数会给我们一个凸优化问题。代价函数J(θ)会是一 个凸函数，并且没有局部最优值。推导过程如下：
注：虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样，但是这里的$h_{𝜃}(x)=g({𝜃}^{T}X)$与线性回归中不同，所以实际上是不一样的。另外，在运行梯度下降算法之前，进行特征缩放依旧是非常必要的。
一些梯度下降算法之外的选择： 除了梯度下降算法以外，还有一些常被用来令代价函数最小的算法，这些算法更加复杂和优越，而且通常不需要人工选择学习率，通常比梯度下降算法要更加快速.这些算法有：
共轭梯度（Conjugate Gradient），局部优化法(Broyden fletcher goldfarb shann,BFGS)和有限内存局部优化法(LBFGS)