为什么要用稀疏自编码而不直接设更少的隐层节点

刚学自编码,以下是本人关于题目问题的一点思考。

自编码器是一种非常简单的BP神经网络,是一种无监督学习算法。

使用一个三层(只有一个隐含层)的自编码网络,然后设置隐含节点的数量少于输入层节点,就能够轻松地实现特征降维。如图:


Fig1. 自编码器网络结构(图片来自网络)

refer to: Deep Learning(深度学习)学习笔记整理系列之(四)

如果隐藏节点比可视节点(输入、输出)少的话,由于被迫的降维,自编码器会自动习得训练样本的特征(变化最大,信息量最多的维度)。但是如果隐藏节点数目过多,甚至比可视节点数目还多的时候,自编码器不仅会丧失这种能力,更可能会习得一种“恒等函数”——直接把输入复制过去作为输出。这时候,我们需要对隐藏节点进行稀疏性限制

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值