“神经网络的参数为什么不能全为0“的简单理解

考虑一个最简单的多层全连接网络，每一层的输出和输入之间的关系为:

Z = AW + b

如果W和b均为0，那么整个网络除了第一层的输入不为0外，其他所有层的输入都为0，也就是说对于除了 input layer 之外的任意层，A 均为0。

而如果考虑每一层单独的导数，就会有 Z'(b) = 1，Z'(A) = W, Z'(W) = A ，那么如果W都为0，则意味着对A的导数为0，而我们知道对每一层的导数都是由其上一层的导数经过链式法则得来的，而现在最上面的output layer 对A的导数全为0，那么由上往下走，每一层的梯度都需要乘以上一层的梯度，也就是0，导致整个网络的梯度全为0。

最终的结果是，除了最后一层的b,（导数为1，可以更新），所有其他的参数均不会得到更新。