2020-4-18 深度学习笔记20 - 深度生成模型 2 (深度信念网络DBN，深度玻尔兹曼机DBM)

第二十章 深度生成模型 Deep Generative Models

中文
英文

2020-4-17 深度学习笔记20 - 深度生成模型 1 (玻尔兹曼机，受限玻尔兹曼机RBM)

深度信念网络Deep Belief Networks

深度信念网络是第一批成功应用深度架构训练的非卷积模型之一。 尽管现在与其他无监督或生成学习算法相比，深度信念网络大多已经失去了青睐并很少使用，但它们在深度学习历史中的重要作用仍应该得到承认。

深度信念网络是具有若干潜变量层的生成模型。 潜变量通常是二值的，而可见单元可以是二值或实数。

尽管构造连接比较稀疏的DBN是可能的，但在一般的模型中，每层的每个单元连接到每个相邻层中的每个单元（没有层内连接）。 顶部两层之间的连接是无向的。 而所有其他层之间的连接是有向的，箭头指向最接近数据的层。 上一节b图中已经展示过DBN模型。

具有$l$个隐藏层的DBN包含$l$个权重矩阵：$W^{(1)},\dots ,W^{(l)}$。
同时也包含$l+1$个偏置向量： $b^{(0)},\dots ,b^{(l)}$，其中$b^{(0)}$是可见层的偏置。

DBN表示的概率分布由下式给出：
$$P(h^{(l)},h^{(l-1)})\propto \exp (b^{(l{)}^{\top }}{h}^{(l)}+b^{(l-1{)}^{\top }}{h}^{(l-1)}{h}^{(l-1{)}^{\top }}{W}^{(l)}{h}^{(l)})$$
P ( h i ( k ) = 1 ∣ h ( k + 1 ) ) = σ ( b i ( k ) + W : , i ( k + 1 ) ⊤ h ( k + 1 ) ) ∀ i , ∀ k ∈ 1 , … , l − 2 P(h_i^{(k)} = 1 \mid h^{(k+1)}) = \sigma \big( b_i^{(k)} + W_{:,i}^{(k+1)^\top} h