RNN自编码器检测生物序列突变

32、假设你有一个包含从 {A, C, T, G} 中选取的核碱基序列的大型生物字符串数据库。其中一些字符串包含代表核碱基变化的异常突变。请提出一种使用循环神经网络（RNN）的无监督方法（即神经架构）来检测这些突变。

可构建一个自编码器类型的 RNN 架构：

• 将生物字符串输入到 RNN 编码器中
• 把序列编码成低维表示
• 再通过解码器将低维表示重构为原始生物字符串

训练时 ：让重构误差最小化

训练完成后 ：

1. 输入新的生物字符串
2. 计算重构误差
3. 若误差超过预设阈值 → 该字符串可能包含异常突变

33、讨论图像字幕应用可以使用的各种预训练类型。

图像字幕应用的预训练类型

图像字幕应用可以使用的预训练类型包括：

• 无监督预训练
• 有监督预训练

无监督预训练

无监督预训练是一种正则化形式，当可用训练数据量较小时，使用这种初始化方式可能会有帮助。

此外，无监督预训练过程可以进行多种变化，例如：

1. 一次训练多层 ：而非逐层预训练。例如，在VGG中多达十一个更深架构的层可以一起训练。
2. 使用宽松的预训练架构 ：
   - 为编码器和解码器的第 k 层学习不同的降维。
   - 在两层之间添加额外的权重层。
   - 降维后丢弃该额外权重层，仅保留编码器-解码器权重。

有监督预训练

有监督预训练的效果似乎不如无监督预训练。

34、考虑著名的石头 - 剪刀 - 布游戏