5、玻尔兹曼机的隐藏单元与训练方法

玻尔兹曼机的隐藏单元与训练方法

1. 隐藏单元的引入

在实际应用中，玻尔兹曼机引入隐藏节点是一个重要特征。节点状态向量 $\mathbf{x}$ 可代表三种类型的变量：输入变量 $\mathbf{x}_i$、输出变量 $\mathbf{x}_o$ 和隐藏变量 $\mathbf{x}_H$。输入和输出变量对应可见单元，代表物理量，记 $\mathbf{x}_v = (\mathbf{x}_i, \mathbf{x}_o)^T$，而隐藏单元用于增加模型的灵活性。因此，$\mathbf{x} = (\mathbf{x}_v, \mathbf{x}_H) = (\mathbf{x}_i, \mathbf{x}_o, \mathbf{x}_H)$，相应的变量（节点）数量分别记为 $n_i$、$n_o$、$n_v$ 和 $n_H$，满足 $n = n_v + n_H = n_i + n_o + n_H$。

当玻尔兹曼机根据随机更新规则演化时，除了 $\mathbf{x} i$ 固定（在神经计算术语中称为“钳位”）的情况外，所有单元的处理方式相同。从长远来看，会从 $\mathbf{x}$ 的（联合）平稳分布中生成实现。实际中感兴趣的分布为：
- 当 $\mathbf{x}_i$ 不固定时：$P(\mathbf{x}_v) = \sum {\mathbf{x} H} p(\mathbf{x}_v, \mathbf{x}_H)$
- 当 $\mathbf{x}_i$ 固定时：$p(\mathbf{x}_o|\mathbf{x}_i) = \sum {\mathbf{x}_H} p(\mathbf{x}_o, \mathbf{x}_H|\mathbf{x