29、循环神经网络与受限玻尔兹曼机的应用与发展

循环神经网络与受限玻尔兹曼机的应用与发展

1. 循环神经网络（RNN）的应用

1.1 时间序列预测

在时间序列预测中，RNN 的任务是通过分析过去和当前的值来预测未来值。其架构特点如下：
- 每个隐藏节点与自身的输入测量值及其前一个隐藏节点相连。
- 每个输出节点与自身的隐藏节点相连。
- 每个隐藏值由其自身的输入值和前一个隐藏值计算得出，输出值由其自身的隐藏值计算得出。
- 应用于时间序列预测的 RNN 架构中只有一个输出节点。

1.2 情感分析

RNN 在情感分析中的任务是将文本或句子分类为负面、中性或正面。具体过程如下：
1. 输入处理 ：每个单词对应一个数值，即单词编码，输入值以文本或句子中的单词编码形式给出。
2. 网络连接 ：输入节点与隐藏节点一一连接，输出节点仅与最后一个隐藏节点相连。
3. 计算过程 ：
- 输入一个句子，将其映射为一个时间单词序列。
- 每个单词编码为其自身的数值，每个隐藏值由其前一个隐藏值和相应的输入值计算得出。
- 单个输出值由其自身的隐藏值计算得出，根据连续输出值确定三个类别之一，需要将连续输出值离散化为三个值之一。

与应用于时间序列预测的 RNN 不同，应用于情感分析的 RNN 的输出节点为离散值。此外，还可以考虑使用一组三个输出节点，并将隐藏节点完全连接到这三个输出节点。

1.3 语言建模

RNN 在语言建模中的任务是根据前面的单词预测