《图解深度学习》学习笔记（三）

最新推荐文章于 2025-10-13 11:31:25 发布

原创

最新推荐文章于 2025-10-13 11:31:25 发布 · 717 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #神经网络

本文介绍了从Hopfield神经网络到受限玻尔兹曼机，再到深度信念网络的发展。Hopfield网络是一种相互连接型网络，用于联想记忆，但存在串扰问题。玻尔兹曼机通过引入概率分布避免了局部最优，而受限玻尔兹曼机解决了隐藏层训练难题。深度信念网络由多层受限玻尔兹曼机堆叠而成，可用于生成和判别模式。通过对网络的逐层训练，深度信念网络在去除噪声、特征提取等方面展现出了优势。

第四章受限玻尔兹曼机

受限玻尔兹曼机是起源于图模型的神经网络。这种网络是由Hopfield神经网络那样的相互连接型网络衍生而来的。

Hopfield神经网络、玻尔兹曼机、受限玻尔兹曼机、多个受限玻尔兹曼机堆叠组成的深度信念网络。

神经网络分为两大类：

前面介绍过的多层神经网络。分层。

相互连接型网络：不分层，单元之间相互连接，（可看做同层之间也互相连接）。它能够根据每个单元的值记忆网络状态，被称为：联想记忆。

人类的大脑能够根据某种输入信息记忆或者联想与之有关的信息，比如看到“苹果”能够想到“红色”，看到“香蕉”能够想到“黄色”。

联想记忆就是通过在事物之间建立对应关系来记忆的方法。多层神经网络和卷积神经网络可应用于模式识别，而相互连接型网络可通过联想记忆去除输入数据中的噪声。

一、Hopfield神经网络

Hopfield神经网络是最典型的相互连接型网络：具有以下优点：

单元之间的连接权重对称( $w_{ij} = w_{ji}$ )(无向或说双向对等)
每个单元没有到自身的连接( $w_{ii}=0$ )(无自环，无自联)
单元的状态变化采用随机异步更新方式，每次只有一个单元改变状态。

Hopfield神经网络是由n个二值单元组成的二值神经网络，每个单元i的输出只能是0或1两个值，故而网络由 $2^{n}$ 种状态。

联想记忆就是当输入模式为某种状态时，输出端要给出与之相应的输出模式y。

自联想记忆：输入模式与输出模式一致。

异联想记忆：输入模式与输出模式不一致。

所谓的输入模式，输出模式，或者说模式，就是指每个神经元的0或1状态的组合模式。每一种组合都是一种模式。每个模式对应一种状态。网络从这个神经元的0或1状态中记忆联想来调整权重使总能量最小。

训练过程：

设有由n个单元组成的Hopfield神经网络，第i个单元在t(t=0, 1, 2, ...)时刻的输入记作 $u_{i}(t)$ ，输出记作 $x_{i}(t)$ ，连接权重为 $w_{ij}$ ，阈值为 $b_{i}(t)$ ，则t+1时刻单元的输出 $x_{i}(t+1)$ 可用下式表示。

$x_{i}(t+1) = \left\{\begin{matrix} 1 \\ x_{i}(t) \\ 0 \end{matrix}\right.$ $\begin{matrix} u_{i}(t) > 0\\ u_{i}(t) = 0\\ u_{i}(t) < 0 \end{matrix}$ $u_{i}(t) = \sum_{j=1}^{n}w_{ij}x_{j}(t) - b_{i}(t)$

如果单元接收的来自其他单元的输入 $x_{j}(t)$ 的权重总和 $\sum_{j=1}^{n}w_{ij}x_{j}(t)$ 大于阈值 $b_{i}(t)$ ，则单元的输出就取值为1；如果小于阈值 $b_{i}(t)$ ，则单元的输出就取值为0。（直白点讲：就说神经元有没有被激活。大于阈值就激活。）

在Hopfield神经网络中，每个时刻都只有一个随机选择的单元发生状态变化。对于一个由n个单元组成的网络，如果要完成全部单元的状态变化，至少需要n个时刻。实际上，单元的状态变化会一直进行下去，直到网络达到稳定状态。各单元的最终状态就是输出模式y。

目标函数：

根据输入模式联想输出模式时，需要实现确定连接权重 $w_{ij}$ 。而连接权重 $w_{ij}$ 要对输入模式的训练样本进行训练才能确定。和神经网络一样，一次训练并不能确定连接权重，而是不断重复这个训练过程，直到满足终止判断条件。而这个满足条件的指标就是表示Hopfield神经网络状态的能量函数(误差函数)E。 $E= -\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}w_{ij}x_{i}x_{j}+\sum_{i=1}^{n}b_{i}x_{i}$ 。（目标函数）