本文探讨了在分类任务中MSE与CrossEntropy两种损失函数的区别。MSE结合sigmoid激活函数可能导致梯度消失问题；而CrossEntropy通常提供更丰富的梯度信息，有助于加快收敛速度。但在某些情况下，MSE也可能成为有效的替代方案。
1.对于分类问题 使用 MSE + sigmoid 会发生梯度弥散现象（即在接近负无穷和正无穷时梯度接近于0）
2.使用Cross Entropy 的梯度信息大于MSE 即收敛速度快
3. 但是有时当Cross Entropy 学习效果不好时 可以尝试MSE
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
