【论文阅读】 Hinton神经网络降维：Reducing the Dimensionality of Data with Neural Networks

• 知识点

• autoencoder

自动编码器（自己生成自己，生成的自己可能表示方法不同，但都是同一个东西）。一种尽可能复现输入的神经网络，我们假设它的输入输出是一样的，通过训练调整网络参数，得到每一层的参数。这样我们就得到了输入的l种表示，每一层代表一种，表示也就是图片的特征。为了实现复现，autoencoder必须能捕捉到输入数据最重要的因素，就和pca一样，找到输入的主成分。

研究表明，如果在原始特征中加上自动学习得到的特征，算法的准确率会大大提升！

自动编码是无监督学习，要想使用梯度下降最小化误差来训练网络，我们构造了一个decoder解码器，将encoder的输出code输入decoder，decoder输出与输入相似的数据，两个网络同步训练，最大化输入与decoder输出的相似度。

autocoder用于分类

autocoder还只学会了如何重建，要实现分类，就得让自编码器学习如何将输入与类别联系起来。可以将最后一层特征code与分类器连接，类似迁移学习，之后再训练有两种方法：

（1）：只有监督训练分类器

（2）有监督训练整个网络（端到端），如果有足够多数据，这个是最好的