sigmoid等激活函数因输出始终为正，导致在优化过程中梯度方向不变，使得学习路径呈Z字形，影响收敛效率。
参考链接：激活函数以0为中心的问题 - 知乎 (zhihu.com)
简单而言 类似于 sigmoid的激活函数 输出到下一层的输入值 恒正 所以 梯度方向 恒定
所以 朝着优化方向的时候 只能走 Z字型来达到最优。
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
参考链接：激活函数以0为中心的问题 - 知乎 (zhihu.com)
简单而言 类似于 sigmoid的激活函数 输出到下一层的输入值 恒正 所以 梯度方向 恒定
所以 朝着优化方向的时候 只能走 Z字型来达到最优。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
