10、深度学习中的生成模型

深度学习中的生成模型

1. 主成分分析与受限玻尔兹曼机的比较

在深度学习的维度降低技术中，主成分分析（PCA）和受限玻尔兹曼机（RBM）是两种广泛推荐的方法。在n维空间中有向量v，维度降低技术本质上是将向量v转换为m维（m < n）的相对较小（有时相等）的向量v’，这种转换可以是线性或非线性的。

PCA对特征进行线性变换，生成正交调整的成分，这些成分随后根据它们捕获方差的相对重要性进行排序。这些m个成分可以被视为新的输入特征，可定义为：向量v’ = （这里w和c分别对应权重（负载）和变换后的成分）。

与PCA不同，RBM（或DBN/自编码器）使用可见单元和隐藏单元之间的连接进行非线性变换。这种非线性有助于更好地理解与潜在变量的关系，同时在捕获信息的过程中还能去除噪声。RBM通常基于随机分布（伯努利或高斯分布），通过大量的吉布斯采样来学习和优化可见层和隐藏层之间的连接权重。优化过程分为两个阶段：前向传播阶段，使用给定的可见层对隐藏层进行采样；反向传播阶段，使用给定的隐藏层对可见层进行重新采样，目的是最小化重建误差。

操作步骤

1. 准备工作 ：需要R（SCN和HHQMPU4包）和MNIST数据集，MNIST数据集可从TensorFlow数据集库下载，它包含28x28像素的手写图像，有55,000个训练示例和10,000个测试示例。使用以下脚本下载：

library(tensorflow)
datasets <- tf$contrib$learn$datasets
mnist <- datas