32、深度学习中的受限玻尔兹曼机与卷积神经网络

深度学习中的受限玻尔兹曼机与卷积神经网络

在深度学习领域，受限玻尔兹曼机（RBM）和卷积神经网络（CNN）是两种重要的模型。下面将详细介绍它们的相关知识。

受限玻尔兹曼机（RBM）

受限玻尔兹曼机由可见层和隐藏层两层组成，其学习过程是优化两层之间的权重。通过堆叠多个RBM可以实现深度学习算法。

联想记忆与RBM

联想记忆是将不完整的数据项恢复为完整数据项的过程，在这个任务中，输入和输出被定义为相同的向量。RBM在其中发挥着重要作用，通过对权重的学习和优化，来实现数据的恢复。

扩展Hopfield网络

原本处理二进制值的Hopfield网络可以扩展为处理实值的网络。在实值Hopfield网络中，每个节点的值为实值，实值输入向量会被恢复为完整的向量。扩展方式有两种：
- 定义每个状态为有限数量的值。
- 定义每个状态为零到一之间的连续值。

要将Hopfield网络扩展为实值版本，需要修改其权重更新过程。

Boltzmann机与RBM的关系

Boltzmann机和RBM可以看作是两种极端情况：
- Boltzmann机中，隐藏变量内部、可见变量内部以及它们之间都存在全连接。
- RBM中，仅隐藏变量和可见变量之间存在连接。

此外，还存在混合类型：
- 允许隐藏变量和可见变量内部有部分连接。
- 考虑隐藏变量或可见变量其中之一内部全连接。

在实现混合类型的Boltzmann机时，需要确定可见变量和隐藏变量哪个更重要。

多个RBM的并行组合