2.3 Logistic回归损失函数

上一节，举例说明了一个Logistic回归模型。为了训练Logistic回归模型的参数w以及b，需要定义一个Cost Function。

这是上一节所定义的函数，其中σ 指的是 sigmoid函数。

为了让模型来通过学习调整参数，需要一个训练集样本m。通过在训练集找到参数w和b来得到你的输出 ==> 对训练集中的预测值y ̂ 。

损失函数（误差函数）

用于衡量算法的运行情况。

Loss(error) function:
L(y ̂,y) = 1/2 * (y ̂-y)^2

但是使用均方误差不是一个好的选择，因为在学习这些参数的过程中，存在优化参数的问题，会变成非凸的。最后就会得到很多个局部最优解。所以，梯度下降法可能找不到全局最优值。