本文探讨了阶梯网络（Ladder Network）在半监督学习中的作用，强调了其结合无监督学习和有监督学习的能力。通过降噪自编码器的引入，阶梯网络能强化分类器的降噪能力，提升模型的鲁棒性和泛化性能。解码器的损失函数设计用于正则化，保持中间层的噪声信息，促进学习有意义的特征。实验证明，阶梯网络不仅提高了学习效果，还减少了训练时间。文中还分享了相关论文资源，供进一步研究。
《From Neural PCA to Deep Unsupervised Learning》和《Semi-Supervised Learning with Ladder Network》中的部分观点：
1. 为了实现无监督学习和有监督学习的结合，无监督学习不能保存所有信息而是能够放弃与任务无关的信息。但是这与无监督学习的初衷有出入，无监督学习为了重建输入，需要保存所有的信息。比如图像处理中的物品的方位和一些变换是与分类任务无关的，不需要保存，而无监督学习为了重建图片则需要保存这些细节信息。
2. 在和有监督学习结合时，无监督学习需要做的是能够找到那些与有监督学习学到的特征相关的新特征，以提高泛化性能。比如识别一张脸的时候，有监督学习已经学习到眼睛是重要的分类特征，此时，无监督学习需要做的是学习与眼睛有关的特征，比如眼睑等。这些特征能够在眼睛被遮挡的时候帮助识别。
3. 横向连接能够减轻无监督学习模型中高层表示细节的压力，并且不影响计算效率。通过横向连接，解码器能够重构那些被编码器丢弃的细节。
4. latent variable models 是实现半监督学习的好方法，尤其是 hierarchical latent variable models。hierarchical latent variable models能够实现高层学习具有内在不变性的（invariant）、与任务相关的特征而底层保存那些细节。
5. latent variable models的训练过程能够被分为两个过程：推理和学习。推理是学习隐变量的后验概率而学习是更新概率模型以更好的拟合结果。比如EM模型中，E步是后验概率固定，学习因变量的期望（分类概率固定，学习产生该结果的最可能的因变量的值），M步则是利用E步的学习结果，学习能够最大化概率模型的后验概率。
6. DAE（去躁自编码器）是重构加了噪声的输入，DSS（Denoising Source Separation）则是重构隐变量。阶梯网络则是结合这两个，重构加了噪声的隐变量，并且是每一层的隐变量都进行该操作。需要注意的是DSS模型在解构前需要先正则化。
下面着重讲一下《Semi-Supervised Learning wi
最低0.47元/天 解锁文章
扫一扫
1236
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
