2、深度学习表征：展望未来

深度学习表征：展望未来

1. 匿名潜在变量与有向图模型

匿名潜在变量对于让机器发现复杂的概率结构非常有用。当在模型中引入更多匿名变量时，它们能为模型带来灵活性，使原本的参数化模型能够非参数化地适应数据量。

主成分分析（PCA）、独立成分分析（ICA）和稀疏编码都对应于一种有向图模型。在这种模型中，观测向量 $x$ 是通过先独立采样一些潜在因素（放入向量 $h$ 中），然后通过 $Wh$ 加上一些噪声得到的。它们的区别仅在于对 $h$ 施加的先验类型，以及在观测到 $x$ 时恢复 $h$（其后验 $P(h | x)$ 或期望值 $E[h | x]$）的相应推理过程。稀疏编码在估计可能生成观测 $x$ 的向量 $h$ 时，往往会产生许多零值。

有向图模型在计算后验时，不同因素会通过“解释消除”效应相互竞争。除了非常特殊的情况（例如，当 $W$ 的列是正交的，这消除了“解释消除”效应），这会导致计算推理成本高昂。对于更深层次的模型，精确推理变得难以处理。

受限玻尔兹曼机（RBMs）具有易于处理的推理能力，但这是以隐藏单元之间缺乏“解释消除”效应为代价的，这可能会限制 $E[h | x]$ 作为生成 $x$ 的因素的良好表示的能力。不过，RBMs 常被用作训练更深层次图形模型（如深度信念网络（DBN）和深度玻尔兹曼机（DBM））的构建块，这些模型可以通过上层提供的丰富先验来补偿 RBM 隐藏单元中缺乏的“解释消除”效应。

下面是这些模型的特点对比表格：
| 模型 | 推理复杂度 | “解释消除”效应 | 应用场景 |
| ---- | ---- | ---- | ---- |
| 有向图模型（PCA、ICA、稀疏编码）