神经网络与深度学习第四章前馈神经网络习题解答

[习题4-1] 对于一个神经元  ，并使用梯度下降优化参数时，如果输入恒大于0，其收敛速度会比零均值化的输入更慢。

首先看一下优快云的解释：

如果输入x恒大于0，使用sigmoid作为激活函数的神经元的输出值将会处于饱和状态，导致其梯度接近于0，这会使得梯度下降算法的收敛速度变慢。而如果输入经过零均值化处理，可以使得输出值的均值为0，避免了sigmoid函数的非0均值问题，从而减少了梯度消失的风险，提高了梯度下降算法的收敛速度。因此，使用零均值化的输入可以加速神经网络的训练过程。

结合图1理解一下：

图1

说一下我的理解：

首先，神经元对求导后的结果为