25、无监督学习与自编码器技术详解

无监督学习与自编码器技术详解

1. 受限玻尔兹曼机（RBM）

受限玻尔兹曼机（RBM）是一种两层神经网络，第一层是可见层，第二层是隐藏层，属于浅层神经网络。其特点是可见层的所有神经元与隐藏层的所有神经元相连，但同一层内的神经元不相连，且所有神经元本质上是二元的，即要么激活要么不激活。

RBM可用于降维、特征提取和协同过滤。训练RBM可分为前向传播、反向传播和比较三个部分，具体操作步骤如下：
1. 前向传播 ：可见单元（V）的信息通过权重（W）和偏置（c）传递到隐藏单元（h0），隐藏单元是否激活取决于随机概率（σ），即sigmoid函数：
[ \rho(v_0|h_0) = \sigma(\sigma^T W v) ]
2. 反向传播 ：隐藏单元表示（h0）通过相同的权重W和不同的偏置c传回可见单元，模型重构输入，输入再次被采样：
[ \rho(v_i|h_0) = \sigma(\sigma^T h_0 + c) ]
3. 重复操作 ：这两个过程重复k步或直到收敛，通常k = 1能取得较好效果。

可见向量V和隐藏向量h的联合配置能量如下：
[ E(V, h) = -V^T W h - V^T b - h^T c ]
每个可见向量V还关联着自由能：
[ F(v) = -b^T v - \sum_{j=1}^{n} \log(1 + \exp(\sum_{i=1}^{m} W_{ij} v_i + c_j)) ]
使用对比散度目标函数（Mean(F(Voriginal)) - Mea