11、蛋白质二级结构预测的双向动力学

蛋白质二级结构预测的双向动力学

1. 引言

在序列领域进行学习的连接主义模型通常是利用隐藏状态来存储上下文信息的动态系统。理论上，这些模型能够适应可变的时间延迟，并执行复杂的序列映射。尽管已有一些成功的应用（大多基于隐马尔可夫模型），但序列学习问题的整体类别仍远未得到令人满意的解决。特别是，学习序列翻译通常是一项艰巨的任务，当前的模型似乎存在一些局限性。

其中一个局限性，至少在某些应用领域中，是因果假设。如果一个动态系统在（离散）时间 t 的输出不依赖于未来的输入，则称该系统是因果的。在试图模拟许多物理系统行为的动力学中，因果关系很容易得到解释。显然，在这些情况下，时间 t 的响应不能依赖于系统尚未作为输入接收到的刺激。然而，对于某些有限序列类别，过去和未来的信息对于时间 t 的分析和预测可能非常有用。例如，DNA 和蛋白质序列中，序列中某个区域的结构和功能可能强烈依赖于该区域上游和下游的事件，有时距离相当远。另一个例子是语言的离线翻译，即使在所谓的“同声传译”中，口译员也常常需要引入小的延迟，以获取句子中的“未来”信息，解决语义歧义并保持句法正确性。

非因果动力学有时在其他学科中使用，如最优控制中的卡尔曼平滑或信号处理中的非因果数字滤波器。然而，就连接主义模型而言，所有能够将输入序列映射到输出序列的模型类型，包括递归神经网络和输入 - 输出隐马尔可夫模型（IOHMMs），都遵循因果假设。本文开发了一种新的非因果自适应架构家族，其底层动力学通过一对链式隐藏状态变量进行分解。这两条链分别存储序列上游和下游部分的上下文信息，时间 t 的输出通过组合这两个隐藏表示获得。有趣的是，相同的通用方法可以应用于许多不同类别的时间序列图形模型，如递归神经网络、IOHMMs、树状结构隐马尔可夫模型