18、深度神经网络技术解析

深度神经网络技术解析

1. 受限玻尔兹曼机（RBMs）

受限玻尔兹曼机（RBMs）是一种特殊的两层神经网络架构。玻尔兹曼机（BMs）由神经元以层间和层内连接的方式构成，而RBMs被约束形成二分图，即同一层内的节点之间不允许有连接，这一限制使得RBMs比BMs更易于训练。具有不同层神经元之间无向连接的RBMs形成了一种自联想记忆，类似于人脑中的神经元。

RBMs可以通过有监督和无监督的方式进行训练，权重向量使用Hinton的对比散度（CD）算法进行更新。CD算法近似对数似然梯度，比马尔可夫链蒙特卡罗（MCMC）算法需要更少的采样步骤。CD算法执行k步吉布斯采样和梯度下降来寻找最大化目标函数（概率乘积）的权重向量。随着k的增加，学习模型的性能会提高，但训练时间会变长，典型的k值为1。

RBM训练算法的工作流程如下表所示：
|步骤|详细内容|
| ---- | ---- |
|1|将权重初始化为0|
|2|对于训练批次中的每个样本：|
| |a. 将样本应用于网络输入|
| |b. 对于0到k - 1个采样步骤：|
| | |i. 对于从1到n的每个隐藏层神经元，采样$h_{i}^{(t)} \sim p(h_{i}^{(t)}|v^{(t)})$|
| | |ii. 对于从1到m的每个输入层神经元，采样$v_{j}^{(t)} \sim p(v_{j}^{(t)}|h^{(t)})$|
| |c. 对于每个输入和隐藏层神经元，计算：|
| | |i. $\Delta w_{ij}=\Delta w_{ij}+(p(H_{i}=1|v_{j}^{(0)})v_{j}^{(0)}-p(H_