31、循环神经网络情感分析与模型序列化

循环神经网络情感分析与模型序列化

循环神经网络情感分析基础

循环神经网络（RNN）常用于序列分析，与前馈神经网络的主要区别在于：
- 存在循环链接。
- 跨时间步共享权重。
- 能够在内存中保存内部状态。
- 具有前向和后向数据流（双向网络）。

不同类型的RNN各有特点：
- 最简单的RNN存在梯度消失和梯度爆炸问题。
- 更高级的架构，如LSTM和GRU可以成功解决这些问题。

LSTM架构

LSTM基于隐藏状态、单元状态和三种类型的门（过滤器），这些门控制着从先前时间步使用哪些信息、忘记哪些信息以及将多少信息传递到下一个时间步。

GRU架构

GRU比LSTM更简单，只有一个隐藏状态和两个门。

双向RNN架构

双向RNN可以反向处理输入序列，但有时会使网络规模翻倍。使用多层RNN处理底层的隐藏状态可以显著提高网络性能。

训练RNN需要使用改进的反向传播算法BPTT，该算法假设RNN被展开为具有与时间步（序列长度）相等层数的前馈网络，并且所有层共享相同的权重，在更新权重之前累积梯度。不过，TBPTT算法的修改在实践中更合适，它使用有限数量的时间步进行展开和反向传播。

自然语言处理中的词嵌入

词嵌入是将非数字概念转换为数字概念的一种方法，常用的算法有：
- Word2Vec ：基于局部统计信息创建词嵌入。
- GloVe ：主要基于全局统计信息。