4.1 深度学习(一)
4.1 深度学习(一)● BatchNormalization 的作用参考回答:神经网络在训练的时候随着网络层数的加深, 激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近, 从而导致在反向传播时低层的神经网络的梯度消失。而 Batch Normalization 的作用是通过规范化的手段, 将越来越偏的分布拉回到标准化的分布, 使得激活函数的输入值落在激活函数对输入比较敏感的区域, 从而使梯度变大, 加快学习收敛速度, 避免梯度消失的问题。● 梯度消失参考回答:在神经网络中,当前面隐
转载
2021-09-01 10:21:47 ·
266 阅读 ·
0 评论