30、受限玻尔兹曼机（RBM）详解

受限玻尔兹曼机（RBM）详解

1. 关联记忆概述

关联记忆是一种将输入向量恢复为训练示例之一的过程。在功能视图中，输入向量会被恢复到预先聚类的训练示例中，新的输入向量通过恢复到标记的训练示例中进行分类，其标签由恢复的训练示例的标签决定。在研究受限玻尔兹曼机（RBM）之前，我们先了解几种用于关联记忆的早期神经网络。

1.1 关联多层感知机（Associative MLP）

关联多层感知机是专门用于关联记忆的MLP版本。它具有以下特点：
- 架构 ：包含输入层、隐藏层和输出层，输入层和输出层的节点数相同，隐藏层节点数任意。
- 学习过程 ：优化权重，将不完整的输入恢复为完整形式。训练方向是从输出层到输入层，优化两个权重矩阵（如果输入和输出节点数为d，隐藏节点数为h，权重矩阵大小分别为d×h和h×d）。
- 分类过程 ：新的输入向量被恢复到训练示例之一，其标签由恢复的训练示例决定。若不能精确恢复，则检索与计算结果最匹配的训练示例。

1.2 Hopfield网络

Hopfield网络是典型的用于关联记忆的神经网络，具有单层结构，所有节点相互连接（包括自身）。
- 架构 ：每个节点与输入值 (x_i) 和输出值 (\hat{x} i) 相关联。若节点数为d，则连接数为 (d^2)，可看作输入和输出节点数均为d的感知机。
- 计算过程 ：输入和输出向量相同，且假设为二进制向量（由0或1组成）。节点值