40、受限玻尔兹曼机与循环神经网络：原理、应用与挑战

受限玻尔兹曼机与循环神经网络：原理、应用与挑战

受限玻尔兹曼机堆叠与学习

受限玻尔兹曼机（RBM）的堆叠是提升其性能的重要方式。通过预训练方法，能取得更好的效果。以三个RBM堆叠为例，训练过程如下：
1. 顺序训练RBM ：
- 首先，使用提供的训练数据作为可见单元的值来训练RBM1。
- 然后，将第一个RBM的输出用于训练RBM2。
- 重复此过程训练RBM3。可以按照这种贪心策略训练任意多层。
2. 构建编码器 - 解码器网络 ：假设三个学习到的RBM的权重矩阵分别为W1、W2和W3。学习到这些权重矩阵后，可构建一个编码器 - 解码器对，如图所示。三个解码器的权重矩阵分别为W1^T、W2^T和W3^T，因为它们执行编码器的逆操作。这样就得到了一个有向编码器 - 解码器网络，可像传统神经网络一样使用反向传播进行训练。

RBM编号	训练数据来源	权重矩阵	解码器权重矩阵
RBM1	原始训练数据	W1	W1^T
RBM2	RBM1输出	W2	W2^T
RBM3