MXNet深度循环神经网络----含有2个隐藏层的循环神经网络（程序）

MXNet深度循环神经网络----含有2个隐藏层的循环神经网络（程序）

《动手学深度学习》第六章 第9节的练习题，个人解答。

在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图演示了一个有$L$个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。

具体来说，在时间步$t$里，设小批量输入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（样本数为$n$，输入个数为$d$），第$\ell$隐藏层（$\ell =1,\dots ,L$）的隐藏状态为${\mathbf{H}}_t^{(\ell )}\in {\mathbb{R}}^{n\times h}$（隐藏单元个数为$h$），输出层变量为${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（输出个数为$q$），且隐藏层的激活函数为$\varphi$。第1隐藏层的隐藏状态和之前的计算一样：

$${\mathbf{H}}_t^{(1)}=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t-1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)}),$$

其中权重 W x h ( 1 ) ∈ R d × h \boldsymbol{W}_{xh}^{(1)} \in \mathbb{R}^{d \times h}