深度学习笔记（五）——神经网络和深度学习（深层神经网络）

1.深层神经网络

深层神经网络其实就是包含更多的隐藏层神经网络。下图分别列举了逻辑回归、1个隐藏层的神经网络、2个隐藏层的神经网络和5个隐藏层的神经网络它们的模型结构。

命名规则上，一般只参考隐藏层个数和输出层。例如，上图中的逻辑回归又叫1 layer NN，1个隐藏层的神经网络叫做2 layer NN，2个隐藏层的神经网络叫做3 layer NN，以此类推。如果是L-layer NN，则包含了L-1个隐藏层，最后的L层是输出层。

2.深层网络中的前向传播

对于第层 ，其正向传播过程的和可以表示为（此处是m个样本向量化的形式）：

也就是X。向量化也就是将所有训练样本写成列向量，从左到右叠起来。对上式采用for循环计算每层的激活函数等，并且层间计算无法避免使用for循环进行计算。

3.核对矩阵的维数

对于单个训练样本，输入x的维度是，神经网络的参数和的维度分别是：

                                                      

                                                          

其中，和分别是第层和第层的神经元个数。，表示输入层特征个数。

反向传播过程中，和的维度分别与和相同。

正向传播过程中，和的维度均为，且和