Deep Learning Notes - 1.3浅层神经网络

Deep Learning Notes - 1.3浅层神经网络

单隐藏层的神经网络

一些约定

• 上标 $^{[i]}$ 指第 $i$ 层
• 上标 $^{(i)}$ 指第 $i$ 个样例
• 下标 $_i$ 指特定层中的第 $i$ 个节点
  
  • 例如： $a^{[i]}_j$ 表示第 $i$ 层中的第 $j$ 个节点
  • 通常输入层不看作一个标准的层，所以输入层常被记为第 $0$ 层

  范例网络

  

  其中$a^{[0]}$为输入层，$a^{[1]}$为隐藏层，$a^{[2]}$为输出层。

  神经网络的计算（一组训练样例）

  

  每个神经元中，都会进行上图所示的计算，那么所有神经元的计算为：

  $$z^{[1]}_1=w^{[1]T}_1 x+b^{[1]}_1, a^{[1]}_1=\sigma (z^{[1]}_1) \\ z^{[1]}_2=w^{[1]T}_2 x+b^{[1]}_2, a^{[1]}_2=\sigma (z^{[1]}_2) \\ z^{[1]}_3=w^{[1]T}_3 x+b^{[1]}_3, a^{[1]}_3=\sigma (z^{[1]}_3) \\ z^{[1]}_4=w^{[1]T}_4 x+b^{[1]}_4, a^{[1]}_4=\sigma (z^{[1]}_4)$$

  向量化后为：

  $$z^{[1]} = W^{[1]} x + b^{[1]} \\ a^{[1]} = \sigma (z^{[1]}) \\ z^{[2]} = W^{[2]} a^{[1]} + b^{[2]} \\ a^{[2]} = \sigma (z^{[2]})$$

  其中：

  $$W^{[1]} = \left[ \begin{matrix} - & w^{[1]T}_1 & - \\ - & w^{[1]T}_2 & - \\ - & w^{[1]T}_3 & - \\ - & w^{[1]T}_4 & - \\ \end{matrix} \right]$$
  $$x = \left[ \begin{matrix} x_1 \\ x_2 \\ x_3 \end{matrix} \right]$$

  并且$b$和$z$均为纵向堆叠。

  多组训练样例的向量化

  假设一共有$m$组样例，那么向量化之后如下：

  $$Z^{[1]} = W^{[1]} A^{[0]} + b^{[1]}\\ A^{[1]} = \sigma (Z^{[1]})\\ Z^{[2]} = W^{[2]} A^{[1]} + b^{[2]}\\ A^{[2]} = \sigma (Z^{[2]})$$

  其中：$X=A^{[0]}$

  $$X = \left[ \begin{matrix} | & | & & | \\ x^{(1)} & x^{(2)} & ... & x^{(m)} \\ | & | & & | \end{matrix} \right]_{n_x \times m}$$
  $$A^{[1]} = \left[ \begin{matrix} | & | & & | \\ a^{[1](1)} & a^{[1](2)} & ... & a^{[1](m)} \\ | & | & & | \end{matrix} \right]$$

  并且$Z$也为横向堆叠。

  激活函数

  为什么要使用激活函数

  如果不适用激活函数，即对结果处理为$g(z)=z$，那么最终输出层输出的是$x$的线性组合，中间隐藏层便失去了意义（不如去掉）。

  而只有面对回归问题时，线性激活函数$g(z)=z$才应用于输出层。

  激活函数$\sigma (z)$

  $$\sigma (z) = \frac{1}{1+e^{-z}}$$

  

  sigmod激活函数的使用范围不大，仅在二元分类网络的输出层使用较多。

  激活函数$tanh(z)$

  $$tanh[z]=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

  

  效果略好于sigmod函数，但使用也不常用，因为训练速度稍慢。

  激活函数$ReLU(z)$

  $$ReLU(z)=max(0, z)$$

  

  此函数使用最为广泛，基本上作为默认使用。

  激活函数$leaky ReLU(z)$

  $$leaky ReLU(z)=max(cz, z)$$

  一般 $c$ 取一个很小的数，例如 $0.01$。具体值需要根据训练情况而定。

  

  此函数效果比ReLU要好，但是使用并不广泛。

  梯度下降

  向量化之后的计算过程：

  $$dZ^{[2]} = A^{[2]} - Y \\ dW^{[2]} = \frac{1}{m} dZ^{[2]} A^{[1]^T} \\ db^{[2]} = \frac{1}{m} np.sum(dZ^[2], axis = 1, keepdims = True) \\ dZ^{[1]} = W^{[2]^T} dZ^{[2]} * g^{[1]'}(z^{[1]}) \\ dW^{[1]} = \frac{1}{m} dZ^{[1]} X^T \\ db^{[1]} = \frac{1}{m} np.sum(dZ^{[1]}, axis = 1, keepdims = True)$$

  上式中的 $*$ 是指逐个相乘。

  随机初始化

  矩阵$W$需要随机化，而$b$置为全零就可以了。

  $$W^{[1]} = np.random.randn((2,2)) * 0.01 \\ b^{[1]} = np.zeros((2,1)) \\ W^{[2]} = np.random.randn((1, 2)) * 0.01 \\ b^{[2]} = 0$$