深度学习:从基础到前沿应用
1. 深度学习基础概念
深度学习在模式识别和机器学习领域引发了革命性变革,它主要关注自适应系统中动作与后果之间长链潜在因果联系的信用分配。信用分配路径的长度可衡量神经网络(NN)应用中信用分配属于深度还是浅层类型。例如,前馈神经网络(FNN)中从输入单元经隐藏单元到输出单元的连接,循环神经网络(RNN)中随时间的变换等都属于信用分配路径。FNN的最大问题深度受限于单元层数,而RNN可能解决潜在无限深度的问题,如通过“短期记忆”存储重要观察信息。
2. 早期深度学习发展
早期的神经网络中,一些网络(如1943年的McCulloch和Pitts的网络)并不具备学习能力。1949年,Hebb提出了无监督学习的思想。随后几十年,出现了浅层无监督和有监督的神经网络,早期有监督神经网络本质上是可追溯到两个世纪前的线性回归器的变体。
深度学习网络起源于20世纪60年代,Ivakhnenko和Lapa发表了首个用于监督深度前馈多层感知器的通用学习算法。他们的单元采用多项式激活函数,通过“数据处理分组方法”训练网络,可根据问题学习层数和每层单元数。这种网络能够创建输入数据的分层、分布式内部表示,许多后来的人工智能和机器学习非神经网络方法也学习越来越抽象的分层数据表示。
20世纪70年代,受神经生理学启发的卷积神经网络(CNN)架构诞生,如Fukushima的Neocognitron。CNN通过将单元的感受野在二维输入值数组上逐步移动,利用大量权重复制减少描述卷积层行为所需的参数。早期CNN使用“空间平均”,后来Weng用“最大池化”(MP)取代,这种方法在当今广泛应用。
订阅专栏 解锁全文
61



被折叠的 条评论
为什么被折叠?



