Mindspore框架循环神经网络RNN模型实现情感分类|（三）RNN模型构建

Mindspore框架循环神经网络RNN模型实现情感分类

Mindspore框架循环神经网络RNN模型实现情感分类|（一）IMDB影评数据集准备
Mindspore框架循环神经网络RNN模型实现情感分类|（二）预训练词向量
Mindspore框架循环神经网络RNN模型实现情感分类|（三）RNN模型构建
Mindspore框架循环神经网络RNN模型实现情感分类|（四）损失函数与优化器
Mindspore框架循环神经网络RNN模型实现情感分类|（五）模型训练
Mindspore框架循环神经网络RNN模型实现情感分类|（六）模型加载和推理（情感分类模型资源下载）
Mindspore框架循环神经网络RNN模型实现情感分类|（七）模型导出ONNX与应用部署

tips:安装依赖库

pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
pip install tqdm requests

一、RNN模型构建

数据集准备完成了输入文本通过查字典（序列化）的向量化。并使用nn.Embedding层加载了Glove词向量。下一步将使用RNN循环神经网络做特征提取，最后将RNN连接至全连接网络nn.Dednse，将特征转化为分类。

nn.Embedding -> nn.RNN -> nn.Dense

本项目，采用规避RNN梯度消的变种LSTM(Long short-term memory)代替RNN做特征提取层。

1.1 关于RNN

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的神经网络。下图为RNN的一般结构：

图示左侧为一个RNN Cell循环，右侧为RNN的链式连接平铺。实际上不管是单个RNN Cell还是一个RNN网络，都只有一个Cell的参数，在不断进行循环计算中更新。

由于RNN的循环特性，和自然语言文本的序列特性(句子是由单词组成的序列)十分匹配，因此被大量应用于自然语言处理研究中。下图为RNN的结构拆解：

1.2 关于LSTM(Long short-term memory)

RNN单个Cell的结构简单，因此也造成了梯度消失(Gradient Vanishing)问题，具体表现为RNN网络在序列较长时，在序列尾部已经基本丢失了序列首部的信息。为了克服这一问题，LSTM(Long short-term memory)被提出，通过门控机制(Gating Mechanism)来控制信息流在每个循环步中的留存和丢弃。下图为LSTM的结构拆解：

本项目选择LSTM变种而不是经典的RNN做特征提取，可规避梯度消失问题，并获得更好的模型效果。
在MindSpore中nn.LSTM对应的公式：

h 0 : t , ( h t , c t ) = LSTM ( x 0 : t , ( h 0