深度学习算法之CNN、RNN、LSTM公式推导

整个推导过程首先一定对网络的结构有清醒的认知，所有变量的下角标都能一一对应到网络结构上；然后就是链式求导了。

一、CNN公式推导

1、前向传播

假设CNN共三层，第一层为输入层，第二层为隐藏层，第三层为输出层。

定义：第一层与第二层之间的参数为$W_{ih}$,第二层到第三层的参数为$W_{hk}$

t时刻的某一个神经元的输入为$b_i$

那么隐藏层输入为：

$\sum_{i=1}^mW_{ih}b_i$

则隐藏层的真实输入为：

$a_h=\sum_{i=1}^mW_{ih}b_i$

经过激活函数后：

$b_h=f(a_h)$

再传入输出层：

$a_k = \sum_{h=1}^KW_{hk}b_h$

如果最后的损失函数使用softmax的负log函数：

$y_k=\frac{e^{-a_k}}{\sum_1^me^{-a_i}}$

$L(w) = -\sum_{k=1}^mz_klog(y_k)$

2、反向梯度计算

先求最后的输出层的梯度：

求解参数$w_{hk}$关于损失函数的梯度：

$\frac{\partial L(w)}{\partial w_{hk}}=\frac{\partial L(w)}{\partial a_{k}}\frac{\partial a_k}{\partial w_{hk}}=\frac{\partial L(w)}{\partial a_{k}}b_{h}$(1)

$\frac{\partial L(w)}{\partial a_{k}}$是输出层的输入关于损失函数的导数，因为$a_{k}$与每个$y_{k'}$都有关系，由链式法则得其导数需求和：

$\frac{\partial L(w)}{\partial a_{k}}=\sum_1^m\frac{\partial L(w)}{\partial y_{k'}}\frac{\partial y_{k'}}{\partial a_{k}}$(2)

又因为：
∂L(w)∂yk′=−zky