多个隐藏层深度神经网络的构建

多个隐藏层深度网络的构建

cousera上吴恩达老师的第四周作业做完了。

除了明显为个人手写并用手机拍摄，以下提供的图片都来自吴恩达老师课件的截图

通过前面单个隐藏层的学习后，很容易联想到多个隐藏层的神经网络应当长得如下。（输入不限，中间隐藏层不限，在后面学习中还听说吴恩达老师说到有哪个公司用152层还是150几层的神经网络实现了不错的功能）

要点
1.很容易想到的是公式的问题，假设我们要推导$n^{[i]}$层的公式，很容易得出如下：

正向传播公式：
$$Z^{[i]}=W^{[i]}{A}^{[i-1]}+b^{[i]}$$$$A[i]=\sigma (Z^{[i]})$$

反向传播公式：
d W [ l ] = ∂ L ∂ W [ l ] = 1 m d Z [ l ] A [ l − 1 ] T dW^{[l]} = \frac{\partial \mathcal{L} }{\partial W^{[l]}} = \frac{1}{m} dZ^{[l]} A^{[l-1] T} dW[l]=∂W