笔记：机器学习——吴恩达 第三周

课程目录

• 第三周

六、逻辑回归(Logistic Regression)
6.1 分类问题
6.2 假说表示
6.3 判定边界
6.4 代价函数
6.5 简化的成本函数和梯度下降
6.6 高级优化
6.7 多类别分类：一对多

七、正则化(Regularization)
7.1 过拟合的问题
7.2 代价函数
7.3 正则化线性回归
7.4 正则化的逻辑回归模型

笔记内容

六、逻辑回归(Logistic Regression) 

6.1 分类问题 

       在分类问题中，预测的变量 y 为离散的值。我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用的一种分类算法。 

 

    我们从二元的分类问题开始讨论。 我们将因变量(dependant variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量，其中 0 表示负向类，1 表示正向类。 

             

       如果我们要用线性回归算法来解决一个分类问题，对于分类，y 取值为 0 或者 1，但如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于 0。尽管我们知道标签应该取值 0 或者 1，但是如果算法得到的值远大于 1 或者远小于 0 的话，就会感觉很奇怪。所以我们在接下来的要研究的算法就叫做逻辑回归算法，这个算法的性质是：它的输出值永远在 0 到 1 之间。 
        顺便说一下，逻辑回归算法是分类算法，我们将它作为分类算法使用。有时候可能因为名字中出现了“回归”使你感到困惑，但逻辑回归算法实际上是一种分类算法，它适用于标签 y 取值离散的情况，如：1  0  0  1。 

        在接下来的视频中，我们将开始学习逻辑回归算法的细节。 

6.2 假说表示 

        在这段视频中，将会展示假设函数的表达式，即在分类问题中，要用什么样的函数来表示我们的假设。此前我们说过，希望我们的分类器的输出值在 0 和 1 之间，因此，我们希望想出一个满足某个性质的假设函数，这个性质是它的预测值要在 0 和 1 之间。
         回顾在一开始提到的乳腺癌分类问题，我们可以用线性回归的方法求出适合数据的一条直线： 

       用最初训练集训练时，当 hθ大于等于 0.5 时，预测 y=1。 当 hθ 小于 0.5 时，预测 y=0。对于上图所示的数据，左边的线性模型似乎能很好地完成分类任务。但假使我们又观测到一个非常大尺寸的恶性肿瘤，将其作为实例加入到我们的训练集中来，这将使得我们获得一条新的右边直线。
      这时，再使用 0.5 作为阀值来预测肿瘤是良性还是恶性便不合适了。可以看出，线性回归模型，因为其预测的值可以超越[0,1]的范围，并不适合解决这样的问题。  

       我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终