Andrew Ng-深度学习-第一门课-week3（激活函数和BP）

1.2.2 第一位代表第一门课，第二位代表第几周，第三位代表第几次视频。编号和视频顺序对应，有些章节视频内容较少进行了省略。对内容进行简单的总结，而不是全面的记录视频的每一个细节，详细可见[1]。

1.神经网络和深度学习

1.3 浅层神经网络

1.3.1 神经网络概述

上一周已经学过了逻辑回归，LR可以认为是简单的一层NN。假设我们有一个两层NN：

前向传播过程：

• 第一层NN：
  $$\begin{array}{r}x\\ W^{[1]}\\ b^{[1]}\end{array}\}⟹z^{[1]}=W^{[1]}x+b^{[1]}⟹a^{[1]}=\sigma (z^{[1]})$$
• 第二层NN：
  $$\begin{gathered} \begin{array}{r}\text{a[1]=σ(z[1])}\\ \text{W[2]}\\ \text{b[2]}\end{array}\}⟹z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}⟹a^{[2]}=\sigma (z^{[2]}) \\ ⟹L\left(a^{[2]},y\right) \end{gathered}$$

反向传播过程：
$$\begin{gathered} \begin{array}{r}d{a}^{[1]}=d\sigma (z^{[1]})\\ d{W}^{[2]}\\ d{b}^{[2]}\end{array}\}⟸{dz}^{[2]}=d(W^{[2]}{\alpha }^{[1]}+b^{[2]})⟸{da}^{[2]}=d\sigma (z^{[2]}) \\ ⟸dL\left(a^{[2]},y\right) \end{gathered}$$

1.3.2 神经网络的表示

我们通过上角标代表第几层神经网络：

• 输入层：[$x_1$; $x_2$; $x_3$]，也可用$a^{[0]}$表示，
  $$a^{[0]}=\left[\begin{array}{c}{a}_1^{[0]}\\ a_2^{[0]}\\ a_3^{[0]}\\ a_4^{[0]}\end{array}\right]$$

• 第一层隐藏层：四个隐藏单元
  $$a^{[1]}=\left[\begin{array}{c}{a}_1^{[1]}\\ a_2^{[1]}\\ a_3^{[1]}\\ a_4^{[1]}\end{array}\right]$$

• 输出层：$\hat{y}=a^{[2]}$

• 第一层参数：($W^{[1]}$,$b^{[1]}$)，$W^{[1]}\in R^{4\times 3}$ ,$b^{[1]}\in R^{4\times 1}$

• 第二层参数：($W^{[2]}$,$b^{[2]}$)，$W^{[2]}\in R^{1\times 4}$ ,$b^{[2]}\in R^{1\times 1}$

1.3.3 计算一个神经网络的输出

每一个神经元即可以认为是一个逻辑回归模块。

隐藏层的神经元计算过程：
$$a_1^{[1]}=\sigma (z_1^{[1]}),z_1^{[1]}=W_1^{[1]T}x+b_1^{[1]}$$

$$a_2^{[1]}=\sigma (z_2^{[1]}),z_2^{[1]}=W_2^{[1]T}x+b_2^{[1]}$$

$$a_3^{[1]}=\sigma (z_3^{[1]}),z_3^{[1]}=W_3^{[1]T}x+b_3^{[1]}$$

$$a_4^{[1]}=\sigma (z_4^{[1]}),z_4^{[1]}=W_4^{[1]T}x+b_4^{[1]}$$

计算过程向量化：
$$a^{[n]}=\sigma (z^{[n]})，z^{[n]}=W^{[n]}x+b^{[n]}$$

详细计算过程：
$$a^{[1]}=\left[\begin{array}{c}{a}_1^{[1]}\\ a_2^{[1]}\\ a_3^{[1]}\\ a_4^{[1]}\end{array}\right]=\sigma (z^{[1]})$$

$$\left[\begin{array}{c}{z}_1^{[1]}\\ z_2^{[1]}\\ z_3^{[1]}\\ z_4^{[1]}\end{array}\right]=\stackrel{W^{[1]}}{\overbrace{\left[\begin{array}{c}...W_1^{[1]T}...\\ ...W_2^{[1]T}...\\ ...W_3^{[1]T}...\\ ...W_4^{[1]T}...\end{array}\right]}}\ast \stackrel{input}{\overbrace{\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]}}+\stackrel{b^{[1]}}{\overbrace{\left[\begin{array}{c}{b}_1^{[1]}\\ b_2^{[1]}\\ b_3^{[1]}\\ b_4^{[1]}\end{array}\right]}}$$

1.3.4 多样本向量化

重复上述单样本的计算过程即可，可通过循环实现，当然向量化才是最佳操作。

• 设输入为$X$，有m个样本，上角标$(i)$代表第$i$个样本:
  $$X=\left[\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ x^{(1)}& x^{(2)}& \cdots & x^{(m)}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right]$$
• 中间变量$Z^{[1]}$：
  $$Z^{[1]}=\left[\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ z^{[1](1)}& z^{[1](2)}& \cdots & z^{[1](m)}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right]$$
• 隐藏层$A^{[1]}$：
  $$A^{[1]}=\left[\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ {\alpha }^{[1](1)}& {\alpha }^{[1](2)}& \cdots & {\alpha }^{[1](m)}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right]$$
• 前向传播公式
  $$\begin{array}{r}\text{z[1](i)=W[1](i)x(i)+b[1]}\\ \text{α[1](i)=σ(z[1](i))}\\ \text{z[2](i)=W[2](i)α[1](i)+b[2]}\\ \text{α[2](i)=σ(z[2](i))}\end{array}\}⟹\{\begin{array}{l}\text{Z[1]=W[1]X+b}\\ \text{A[1]=σ(Z[1])}\\ \text{z[2]=W[2]A[1]+b[2]}\\ \text{A[2]=σ(z[2])}\end{array}$$

这些数据，每一列代表不同的样本，每一行代表NN中的不同结点。

1.3.6 激活函数

1.sigmoid：
$$\sigma (z)=\frac{1}{{1+e}^{-z}}$$

缺点：

• 梯度消失，即饱和问题；
• 非均值，输出不是以0为中心
• 解析式还有幂运算

优点：

• 值域是[0,1]

导数：
$$\frac{d}{dz}g(z)=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})=g(z)(1-g(z))$$

• 当$z$ = 10或$z=-10$ ; $\frac{d}{dz}g(z)\approx 0$
• 当$z$= 0 , $\frac{d}{dz}g(z)\text{=g(z)(1-g(z))=}1/4$
• 神经网络中$a=g(z)$; $g{(z)}^{{}^{\prime }}=\frac{d}{dz}g(z)=a(1-a)$

2.tanh：
$$tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

缺点：

• 梯度消失；
• 幂运算

优点：

• 值域是[-1,1]，解决0均值问题；

导数：
$$\frac{d}{dz}g(z)=1-(tanh(z){)}^2$$

• 当$z$ = 10或$z=-10$ $\frac{d}{dz}g(z)\approx 0$
• 当$z$ = 0, $\frac{d}{dz}g(z)\text{=1-(0)=}1$
• 在神经网络中：$a=g(z)$; $g{(z)}^{{}^{\prime }}=\frac{d}{dz}g(z)=(1-a^2)$

3.Relu：$f(z)=max(0,z)$

优点：

• 仅需一个阈值，复杂度低；
• 单侧抑制，网络稀疏表达，控制过拟合
• 非饱和性，有效解决梯度消失问题

缺点：

• 非0均值（zero-centered）
• 负神经元梯度死亡-导致参数梯度无法更新

导数：
$$g(z{)}^{{}^{\prime }}=\{\begin{array}{ll}0& \text{if z < 0}\\ 1& \text{if z > 0}\\ undefined& \text{if z = 0}\end{array}$$

4.Leaky Relu：$f(z)=max(\alpha z,z)$

优点：

• 解决神经元死亡问题
• 复杂度低，单侧抑制，非饱和性

导数：
$$g(z{)}^{{}^{\prime }}=\{\begin{array}{ll}\alpha & \text{if z < 0}\\ 1& \text{if z > 0}\\ undefined& \text{if z = 0}\end{array}$$

5.Softmax：
$$\sigma (z_j)=\frac{e^{z_j}}{{\sum }_{k=1}^K{e}^{z_k}}$$
和sigmoid相似，只是多分类输出的时候使用。sigmoid用于二分类输出概率。

1.3.10 直观理解反向传播

回顾逻辑回归公式：
$$\underset{dw=dz\cdot x,db=dz}{\underbrace{\begin{array}{l}x\\ w\\ b\end{array}\}}}⟸\underset{dz=da\cdot g^{{}^{\prime }}(z),g(z)=\sigma (z),\frac{dL}{dz}=\frac{dL}{da}\cdot \frac{da}{dz},\frac{d}{dz}g(z)=g^{{}^{\prime }}(z)}{\underbrace{z=w^{T}x+b}}⟸\underset{da=\frac{d}{da}L\left(a,y\right)=(-y\log \alpha -(1-y)\log (1-a){)}^{{}^{\prime }}=-\frac{y}{a}+\frac{1-y}{1-a}}{\underbrace{a=\sigma (z)⟸L(a,y)}}$$
神经网络可以认为是多层的LR：
公式3.44：
$$L=\frac{1}{m}\sum _i^{n}L(\hat{y},y)，d{Z}^{[2]}=A^{[2]}-Y，$$

$$d{W}^{[2]}=\frac{1}{m}d{Z}^{[2]}{A^{[1]}}^T，d{b}^{[2]}=\frac{1}{m}np.sum(d{Z}^{[2]},axis=1,keepdims=True)$$

$$\underset{(n^{[1]},m)}{\underbrace{d{Z}^{[1]}}}=\underset{(n^{[1]},m)}{\underbrace{W^{[2]T}d{Z}^{[2]}}}\ast \underset{(n^{[1]},m)}{\underbrace{g[1{]}^{{}^{\prime }}(Z^{[1]})}}$$

$$d{W}^{[1]}=\frac{1}{m}d{Z}^{[1]}{x}^T$$

$$d{b}^{[1]}=\frac{1}{m}np.sum(d{Z}^{[1]},axis=1,keepdims=True)$$

1.3.11 随机初始化

如果你把权重或者参数都初始化为0，那么梯度下降将不会起作用。将会使得每一层的权重都是相等的，同步更新没有其他变化。

• 对$W$进行随机初始化，有效避免这个问题，$b$不需要初始化；
• $W$一般初始化为很小的随机数，$b$不需要初始化；$eg.$
  $W^{[1]}=np.random.randn(2,2)\ast 0.01,b^{[1]}=np.zeros((2,1))$
  $W^{[2]}=np.random.randn(2,2)\ast 0.01,b^{[2]}=0$
• 初始化为较小的数是因为，$sigmoid/tanh$在参数很大时，梯度很小甚至消失；