12、无监督特征学习：Hopfield网络、玻尔兹曼机与受限玻尔兹曼机

无监督特征学习：Hopfield网络、玻尔兹曼机与受限玻尔兹曼机

1. Hopfield网络

Hopfield网络是基于能量的模型，与受限玻尔兹曼机不同，它只有可见节点，并且所有节点相互连接。每个节点的激活值只能是 -1 或 +1。

1.1 运行方式

运行Hopfield网络有两种方式：
1. 将每个可见节点的值设置为触发数据项的对应值，然后触发连续激活，每次激活时，每个节点的值根据与其相连的其他可见节点的值进行更新。
2. 随机初始化可见节点，然后触发连续激活，使其生成训练数据的随机示例，这通常被称为网络“白日梦”。

1.2 节点激活与状态更新

下一个时间步每个可见节点的激活定义为：
[a_{i}^{t + 1} = \sum_{j} W_{ij} v_{j}^{t}]
其中，(W) 是定义每个节点 (v) 在时间步 (t) 之间连接强度的矩阵。然后应用阈值规则得到 (v) 的新状态：
[v_{i} = \begin{cases}
1, & \text{if } a_{i} \geq 0 \
-1, & \text{if } a_{i} < 0
\end{cases}]
节点之间的权重 (W) 可以是正的或负的，这会导致节点在激活时相互吸引或排斥。Hopfield网络还有一个连续变体，只需将阈值函数替换为双曲正切函数。

1.3 能量函数

该网络的能量函数为：
[E(v) = -\frac{1}{2} \sum_{i, j} v_{i} W_{ij} v_{j}]