55、神经网络模型中的序列学习与潜变量应用

神经网络模型中的序列学习与潜变量应用

1. 神经元模型限制与最大似然学习

在某些神经网络模型中，考虑每个神经元仅有 K 个父节点是一种有趣且实用的限制，这样每个条件概率表就包含 2K 个条目。通过最大似然法学习这些表的参数较为直接，因为对数似然是表条目的凸函数。这意味着对于给定的序列（或序列集合），我们可以轻松找到使序列重建概率最大化的参数。最大似然法还为相关的随机动力系统提供了较大的吸引域。这种模型在人工生命和随机布尔网络中具有重要意义，在这些领域中，局部更新规则会产生宏观涌现行为，同时也用于研究化学和基因调控网络的鲁棒性。

1.1 序列歧义问题

仅基于可见变量定义的时间无关一阶网络（如 Hopfield 网络）存在一定局限性。具体来说，每次遇到联合状态 v 时，观察转移概率 p(vt + 1|vt = v) 都是相同的。这就导致如果序列中包含类似 a, b, a, c 的子序列，由于联合状态 a 在不同时间会转移到不同状态，因此很难高概率地回忆起该序列。虽然可以尝试使用高阶马尔可夫模型来考虑更长的时间上下文，或者使用时间相关模型来解决序列歧义问题，但这样会降低生物合理性。使用潜变量是解决序列歧义的另一种方法。在 Hopfield 模型中，通过使联合潜 - 可见空间中的序列线性无关（即使仅可见变量序列并非线性无关），可以利用潜变量增加回忆容量。

2. 可处理的连续潜变量模型

2.1 动态信念网络形式

包含隐藏（潜）变量 h 和可见变量（观测值）v 的动态信念网络形式如下：
[p(v(1 : T ), h(1 : T )) = p(v(1))p(h(1)|v(1))\prod_{t = 1}^{T