机器学习笔记——逻辑回归

决策函数：sigmoid

损失函数：cross-entropy

为什么不用平方误差做损失函数？

因为我们希望接近最优解的地方梯度小，而远离最优解的地方梯度大。从下图可以看出来，平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项，线性回归使用平方误差就没有这个问题。