Python深度学习026：基于Pytorch的典型循环神经网络模型RNN、LSTM、GRU的公式及简洁案例实现（官方）

1. 简介

循环神经网络（也有翻译为递归神经网络）最典型的三种网络结构是：

• RNN（Recurrent Neural Network，循环神经网络）
• LSTM（Long Short-Term Memory，长短期记忆网络）
• GRU（Gate Recurrent Unit，门控循环单元）

2. 参数的理解

2.1. 层数的概念

理解参数的含义非常重要，否则，你不知道准备什么维度的输入数据送入模型

先看一下 两层双向lstm的网络结构，两层（双层）、双向的概念：

• 两层：跟深层堆叠神经网络里面的层的概念是类似的，如图绿色是第一层，蓝色是第二层
• 双向的：有沿时间轴的前向传播和沿时间轴的逆向传播（后向传播）

注意：
lstm里，多层之间传递的是输出