本文介绍了深度学习的基础，包括深度神经网络结构、自动编码器、去噪自动编码器和线性自动编码器与PCA主成分分析的关系。通过预训练方法解决模型复杂度和优化问题，利用自动编码器进行特征提取和信息保持，去噪自动编码器则通过引入噪声提升模型的稳健性。此外，线性自动编码器与PCA在一定程度上相似，都涉及特征的线性变换。
本文基于台大机器学习技法系列课程进行的笔记总结。
一、主要内容
topic 1 深度神经网络结构
从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换，也就是特征抽取。一般的隐藏层（hidden layer）较少的类神经网络结构我们称之为shallow，而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示：
从两者的对比中可以明显发现，随着类神经网络结构的层数逐渐变多，由shallow转向deep，训练的效率会下降，结构变得复杂，那么对应的能力（powerful）呢？实际上shallow的类神经网络已经很强的powerful了，那么多增加layer的目的到底是什么呢？是如何的更加富有意义（meaningful）呢？且往下看：
订阅专栏 解锁全文
扫一扫
6593
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
