吴恩达深度学习笔记（一）week4 深层神经网络

吴恩达深度学习笔记（一）week4 深层神经网络

---

虽然神经网络的层数变为深层，但推导过程和上周的一样

---

深层神经网络中的前向传播与反向传播

前向传播需要输入$A^{[0]}$也就是$X$来初始化；$A^{[0]}$对应一整个输入样本的输入特征（其中每一列代表的是一个样本的特征），即$A^{[0]}=（a^{[0]},a^{[1]},a^{[2]}\cdots a^{[m]})$，对应任意层$l$，设其输入为$a^{[l-1]}$,输出为$a^{[l]}$，前向传播过程为：
$z^{[l]}=W^{[l]}a^{[l-1]}+b^{[l]}$
$a^{[l]}=g^{[l]}(z^{[l]})$
向量化：
$Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}$
$A^{[l]}=g^{[l]}(Z^{[l]})$

反向传播：输入为$da^{[l]}$,输出为$da^{[l-1]}、dW^{[l]}、db^{[l]}$

前向传播和反向传播的总结如下：

---

核对矩阵的维度

设第$l$层的神经元个数为$n^{[l]}$则
$W^{[l]}$的维度为$（n^{[l]}，n^{[l-1]})$
$b^{[l]}$的维度为$（n^{[l]}，1)$
$z^{[l]}、a^{[l]}$的维度为$（n^{[l]}，1)$
向量化 $W^{[l]}、b^{[l]}$维度不变， $A^{[l]}、Z^{[l]}$的维度变为$（n^{[l]}，m)$ ，为输入样本的个数。