刚学自编码,以下是本人关于题目问题的一点思考。
自编码器是一种非常简单的BP神经网络,是一种无监督学习算法。
使用一个三层(只有一个隐含层)的自编码网络,然后设置隐含节点的数量少于输入层节点,就能够轻松地实现特征降维。如图:
Fig1. 自编码器网络结构(图片来自网络)
refer to: Deep Learning(深度学习)学习笔记整理系列之(四)
如果隐藏节点比可视节点(输入、输出)少的话,由于被迫的降维,自编码器会自动习得训练样本的特征(变化最大,信息量最多的维度)。但是如果隐藏节点数目过多,甚至比可视节点数目还多的时候,自编码器不仅会丧失这种能力,更可能会习得一种“恒等函数”——直接把输入复制过去作为输出。这时候,我们需要对隐藏节点进行稀疏性限制