46、循环神经网络与卷积神经网络的应用及原理

循环神经网络与卷积神经网络的应用及原理

循环神经网络的应用

循环神经网络（RNN）是用于序列建模的一类神经网络，可表示为权重在不同层之间共享的时间分层网络。不过，RNN训练起来有难度，因为它容易出现梯度消失和梯度爆炸问题。下面介绍RNN的一些具体应用：
1. 二级蛋白质结构预测
- 输入编码 ：在蛋白质结构预测中，序列元素是代表20种氨基酸之一的符号，对输入采用独热编码很有效。
- 输出分类 ：每个位置关联一个对应二级蛋白质结构的类标签，二级结构可以是α - 螺旋、β - 折叠或无规卷曲，该问题可归结为标记级分类，输出层使用三向softmax。
- 网络选择 ：使用双向循环神经网络进行预测，因为蛋白质结构预测受益于特定位置两侧的上下文信息。
2. 端到端语音识别
- 数据预处理 ：尝试将原始音频文件转录为字符序列，需少量预处理使数据能作为输入序列呈现，如用matplotlib的specgram函数将原始音频文件转换为频谱图，设置宽度为254个傅里叶窗口，重叠127帧，每帧128个输入。
- 输出形式 ：输出是转录序列中的一个字符，可能是字符、标点符号、空格或空字符，标签因应用而异。
- 网络选择 ：双向循环神经网络最合适，字符两侧的上下文有助于提高准确性。
- 问题处理 ：存在音频帧表示与转录序