机器学习面试必知：梯度消失和梯度爆炸

在深度前馈网络中假设有数据集$\left\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\right\}$

构建代价函数，其中$s_l$表示第$l$层的节点数 $$J(W,b)=\frac{1}{m}\sum _{i=1}^{m}J(W,b;x^{(i)},y^{(i)})+\frac{\lambda }{2}\sum _{l=1}^N\sum _{i=1}^{s_{l-1}}\sum _{j=1}^{s_l}(W_{ji}^{(l)}{)}^2$$
在前向神经网络中，假设第$l$层的参数为$W^{(l)}$和$b^{(l)}$，每一层的线性变换为$z^{(l)}=W^{(l)}{x}^{(l)}+b^{(l)}$，非线性变换后输出为$a^{(l)}=f(z^{(l)})$,这也就是下一层的输入即$x^{(l+1)}=a^{(l)}$。我们利用批量梯度下降法来更新参数，我们先计算代价函数对隐含层的偏导$$\genfrac{}{}{0ex}{}{}{\partial z_j^{(l)}}$$