降噪自动编码机（Denoising Autoencoder）

摘要

• dA的Theano实现
• Autoencoder原理
• dA原理

自动编码机

自动编码机首先将输入映射到隐层：

其中$s$是非线性函数，例如$sigmoid$和$tanh$函数。这个过程可以被称为编码过程。接着，$y$被映射回重构向量$z$：

对应的，这个过程为解码过程。权重矩阵$W'$可以被闲置为编码器权重矩阵的转置$W'=W^T$。整个过程可以看做为一个重构过程。
重构过程中的损失函数可用错中方式标示：

• 平方差：
• 交叉熵：

降噪自动编码机（Denoising Autoencoder）

降噪编码机的主要思想是通过训练加入噪声的训练样本重构真实的数据来实现。一种加入噪声的方式是通过将随机个输入置零1。

代码实现

代码下载

---

1. Vincent, H. Larochelle Y. Bengio and P.A. Manzagol, Extracting and Composing Robust Features with Denoising Autoencoders, Proceedings of the Twenty-fifth International Conference on Machine Learning (ICML‘08), pages 1096 - 1103, ACM, 2008。 ↩