Week 3 逻辑回归及处理过度拟合

Logistic Regression

摘要

主要是三方面的内容。

**逻辑回归。**分类问题的输出其实是逻辑离散的集合，比如{是，不是}，{红，黑，白}，能否让算法将结果统一到0和1之间呢，按照0.5的阈值进行分类预测呢？sigmoid函数可以做这种投射。于是改变了目标函数h(x)，因为目标函数不再是线性回归，所以需要新的损失函数J，方便梯度下降求导全局最小值。

过拟合。增加特征这件事可以使得训练集拟合得更好，但是一方面，增加特征，需要比梯度下降更高效的实现（调库），另一方面，容易产生过拟合，于是本周第二个重点是如何处理过度拟合——损失函数引入theta，使其自动权衡的思想。

小结：机器学习的本质。本周主要是这两个方面的内容，其实本质上就是改变了一个模型，和上周内容基本一样，但产生了很多进阶型问题。两周下来，对机器学习有了更好理解，于是最后还有一个机器学习的总结。

逻辑归回

基本模型

目的，将函数输出，无穷大的取值投射到（0, 1）之间，意义在于，分类问题，典型的二分类问题，输出非黑即白，即所谓逻辑输出。

sigmoid函数，接上面，要做到这样的事其实非常简单，请看下方
$$h_{\theta }(x)=g\left({\theta }^{T}x\right)$$

$$g(z)=\frac{1}{1+e^{-z}}$$

修改目标函数，利用g函数进行投射，即可完成效果。

于是，目标函数不再是线性回归，导致图像上看，损失函数可能是完全不规则——有很多局域最值，所以需要新的损失函数。但此处为什么这么设计，并不清楚，只知道，从图像上看，对数函数取值确实符合目标函数的要求——当y=1，h(x)->0时，J(θ)趋近无穷大，即y=1这个结果误差非常大；反之，h(x)->1时，j(θ)趋近0，即此时y=1这个结果误差很小。——我们本来目标函数就是这么设计的。
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\right]$$

损失函数看起来很复杂，但其实求导能证明还是以下形式。
∂ J ( θ ) ∂ θ j = 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \frac