54、循环神经网络与卷积神经网络应用解析

循环神经网络与卷积神经网络应用解析

循环神经网络的应用

循环神经网络（RNN）在多个领域有着广泛的应用，以下为你详细介绍：
1. 电商序列预测 ：将从电商网站提取的序列作为输入，输入到循环神经网络中的是 $e_1…e_T$，用于预测输出 $o_1…o_T$。时间戳 $t$ 的输出对应着该时间戳用户的下一个动作。嵌入层也连接到循环网络，在反向传播过程中进行微调（超出其 word2vec 初始化）。原工作中还添加了注意力层，不过即使没有该层也能取得不错的效果。
2. 二级蛋白质结构预测
- 输入编码 ：在蛋白质结构预测中，序列元素是代表 20 种氨基酸之一的符号，使用独热编码对输入进行处理较为有效。
- 输出分类 ：每个位置都与对应二级蛋白质结构的类别标签相关，二级结构可以是α - 螺旋、β - 折叠或无规卷曲，该问题可归结为令牌级分类，输出层使用三向 softmax。
- 网络选择 ：使用双向循环神经网络进行预测，因为蛋白质结构预测问题受益于特定位置两侧的上下文信息。一般来说，选择单向网络还是双向网络，很大程度上取决于预测是否与历史片段有因果关系，或者是否依赖于两侧的上下文。
3. 端到端语音识别
- 数据预处理 ：要将原始音频文件转录为字符序列，且尽量减少中间步骤。需要进行少量预处理，例如使用 matplotlib Python 工具包的 specgram 函数将原始音频文件转换为频谱图，