sigmoid作为激活函数时使用交叉熵损失函数cross-entropy原由
在大多数使用sigmoid作为激活函数时,神经网络中通过使用交叉熵损失函数cross-entropy可使网络参数能够快速的从错误中学习问题,使梯度下降中权值w以及偏秩b的下降速率得以提升,即可较为快速的得出网络结果。在下方图示中,我们给出神经网络中对于使用sigmoid作为激活函数,在使用二次代价函数(quadraticcost)时产生的一种下降速率缓慢的数据图像。对于上图两神经网络...
原创
2019-06-24 12:00:14 ·
8642 阅读 ·
0 评论