CMU 11-785 L20 Boltzmann machines 1

最新推荐文章于 2025-04-15 10:15:08 发布

原创

最新推荐文章于 2025-04-15 10:15:08 发布 · 266 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络

Hopfield网络是一种人工神经网络模型，用于存储和检索多个稳定状态，这些状态对应于训练模式。通过矩阵W的设计，可以确保目标模式的能量最低，从而在网络演化过程中稳定存在。训练过程涉及调整权重矩阵，使其最大化目标模式的能量并最小化非目标模式的能量。能量函数的优化可通过梯度下降等方法实现。此外，通过引入隐藏节点和利用'不关心'位，网络的存储容量可以增加。网络行为类似于玻尔兹曼机的退火动力学，其中模式的概率分布由能量函数决定。

Training hopfield nets

Geometric approach

$W=YYT−NpI\mathbf{W}=\mathbf{Y} \mathbf{Y}^{T}-N_{p} \mathbf{I}$
$E(y)=yTWy\mathbf{E}(\mathbf{y})=\mathbf{y}^{T} \mathbf{W y}$
Sine : $yT(YYT−NpI)y=yTYYTy−NNp\mathbf{y}^{T}\left(\mathbf{Y} \mathbf{Y}^{T}-N_{p} \mathbf{I}\right) \mathbf{y}=\mathbf{y}^{T} \mathbf{Y} \mathbf{Y}^{T} \mathbf{y}-N N_{p}$
So W is identical to behavior with $W=YYT\mathbf{W}=\mathbf{Y} \mathbf{Y}^{T}$
- Energy landscape only differs by an additive constant
- Have the same eigen vectors

在这里插入图片描述

A pattern $y_p$ is stored if:
- $sign⁡(Wyp)=y_p\operatorname{sign}\left(\mathbf{W} \mathbf{y}_{p}\right)=\mathbf{y}\_{p}$ for all target patterns
Training: Design $W$ such that this holds
Simple solution: $y_p$ is an Eigenvector of $W$

Storing k orthogonal patterns

Let $Y=[y_1y_2…y_K]\mathbf{Y}=\left[\mathbf{y}\_{1} \mathbf{y}\_{2} \ldots \mathbf{y}\_{K}\right]$
- $W=YΛYT\mathbf{W}=\mathbf{Y} \Lambda \mathbf{Y}^{T}$
- $λ1,...,λk\lambda_1,...,\lambda_k$ are positive
- for $λ1=λ2=λk=1\lambda_1= \lambda_2=\lambda_k= 1$ this is exactly the Hebbian rule
Any pattern $y$ can be written as
- $y=a1y1+a2y2+⋯+aNyN\mathbf{y}=a_{1} \mathbf{y}_{1}+a_{2} \mathbf{y}_{2}+\cdots+a_{N} \mathbf{y}_{N}$