Hinton 2006 science 文章 RBM 预训练 AutoEncoder

Reducing the Dimensionality of Data with Neural Networks, Hinton et al., 2006, science.

摘要 作者提出用 auto encoder 实现降维, 性能远超 pca. 作者同时发现 deep auto encoder network 非常依赖 effective initialization.

背景 AutoEncoder 基本理论 (高维-低微-高维, 重构输入), AutoEncoder 不易用梯度训练, 需要较好的预训练做为初始化.

RBM 二值两层神经网络, 最小化能量函数 (最大化联合概率).

逐层 RBM activation 预训练

data	hidden	visible	activation
original binary	binary	binary	stochastic
continuous	binary	gaussian	logistic

前一次的 hid