吴恩达Deeplearning.ai专项课程笔记（二）-- 浅层神经网络

终于记起账号系列，接上篇。

1.神经网络表示

• 输入层 ：通过输入层输入数据。
• 隐藏层 ：通过隐藏的中间层对输入数据进行训练，训练过程中中间节点的真正数值无法通过训练集看到。
• 输出层 ：输出模型的预测值。

2.符号约束

• 网络层数 ：等于隐藏层加输出层数的和，如上图为一个双层神经网络。（注意：不算入输入层）
• 不同层数据 ：采用$a^{[i]}$表示第i层的计算后数据。对于隐藏层而言，$a^{[i]}$指的是该层经过激活后的数据；对于输入层，用$a^{[0]}=X$表示。
• 同层数据 ：采用$a_j^{[i]}$表示第i层第j个节点(/单元)，有此可知$a^{[i]}$为一个维数等于该层节点数的列向量，如上图中$a^{[1]}$为一个四维向量。
• 参数表示 ：隐藏层与输出层均有对应参数，采用$w^{[i]}$表示第i层参数$w$，采用$b^{[i]}$表示第i层参数$b$。
• 样本：用右上角圆括号表示样本i，如：$x^{(i)}$，则：$a^{[i](j)}$表示第j个样本计算至网络第i层后的值，${\hat{y}}^{(i)}$表示网络最终计算出的第i个样本的预测值。

3.计算神经网络的输出

• 计算过程
  1.每层单个神经元上的计算
  　　对于第i层的第j个神经元，该节点的计算与Logistic回归类似，分为两步，如上图圆环中左右两部分所示。
  
  首先对该层输入的数据$x$,计算$z_j^{[i]}=w_j^{[i]T}x+b_j^{[i]}$，然后采用激活函数$a_j^{[i]}=\sigma (z_j^{[i]})$激活。，每个神经元计算过程如下图所示。
  

２.向量化计算
　　对于某层隐藏层，将该层所有神经元的参数$w_j^{[i]}$的转置竖向堆叠起来，组成该层参数w的矩阵$W^{[i]}$，由于$w_j^{[i]}$维度与该层输入数据维度相同，则$w_j^{[i]}$为一个，将参数$b_j^{[i]}$同样竖向堆叠起来，得到参数b的列向量$b^{[i]}$，对于单个样本x，该层激活前有：$Z^{[i]}=W^{[i]}{a}^{[i-1]}+b^{[i]}$ ，激活后有：$a^{[i]}=\sigma (Z^{}$