LR为什么不可以用MSE作为损失函数

原因总结：

1. MSE 会有梯度消失现象
2. MSE 的导数非凸函数，求解最优解困难

证明：

1. 梯度消失公式证明：

令 ，记为 。

只关注其中单项的公式，并简化可得：

可见， 当 h 趋近于 0 时或者趋近于 1 时，该 Loss 的导数都会趋近为 0，从而造成梯度消失现象。

2. 非凸函数公式证明

关注 其二阶导数，可以得出其二阶导数矩阵即 Hessian 矩阵不是正定矩阵。 该导数是非凸函数，不是凸函数，难以优化。