机器学习笔记06_逻辑回归模型的代价函数

不使用线性回归模型中的方差代价函数

如图所示

因为逻辑回归模型对于训练集中的任意输入X，一定会输出一个0-1之间的数

且我们的真实数据 y 要么是 0 ，要么是 1

这就意味着，如果我们继续采用方差代价函数

那么代价函数的图像中将会产生无数个局部最小点

模型预测准确率将大打折扣

重新定义代价函数

因此，我们在逻辑回归模型中重新定义了代价函数

• 把积分外面的   拿到了里面来，对于本身的 J 来说并不影响数值
• 然后把 J 中蓝色框中的部分，用一个重新定义的函数来表示，我们称它为损失函数（loss function）

• 进行取对数的处理，抵消之前放进损失函数里的  ，再加上一个负号
• 因为真实标签有 0 和 1 两个取值，因此，把损失函数按情况定义为分段函数

当真实标签  = 1 时，图像如上图所示

当真实标签  = 0 时，图像如上图所示

结果

进行这样的处理后，整个代价函数就又成为了一个凸函数

就可以继续使用梯度下降算法，来寻找最优解了