从0开始机器学习--Day7--逻辑回归的代价函数及简化

逻辑回归的代价函数（Cost function of logistic regression）

跟之前线性代数的代价函数不一样的是，我们将后面的平方差项定义出来，即，在实际应用中，我们发现如果像处理线性回归的问题一样用这个代价函数来处理分类问题的参数，由于假设函数sigmoid是非线性的，把它带入到函数后再带入到代价函数的话，呈现的图像是非凸函数，是不断波动的，如下图：

凸函数与非凸函数图像对比

从图像中我们可以看到，非凸函数的图像中有很多局部最优解，如果用梯度下降来处理，我们并不能保证它能收敛到全局最小值。所以我们要做的是找到另一个代价函数，使其能够表现出凸函数的性质，从而能让算法在应用时能收敛到全局最小值。

让我们来重新定义一个新的代价函数：