深度学习—历史发展

最新推荐文章于 2024-12-06 10:13:21 发布

原创

最新推荐文章于 2024-12-06 10:13:21 发布 · 2.8k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #人工智能 #机器学习 #深度学习

本文回顾了深度学习的发展历程，从人工神经网络的劣势到深度学习的兴起。重点讲述了2006年自编码器的提出如何为深度学习注入生机，以及2009年深度学习在语音识别和图像处理领域的突破，如ImageNet数据库的建立和大规模神经网络的构建。此外，还提及了2016年AlphaGo在围棋比赛中获胜，标志着人工智能的重大进展。近年来，深度学习已广泛应用于各个领域，但也面临着数学基础、模型复杂性和数据需求等问题。

1. 导语

从这一讲开始，我们将进入目前最火热的人工智能领域—深度学习（Deep Learning）。我们前面讲到，从上个世纪80年代开始，多层神经网络被提出，它较好地解决了机器学习中的一些实际问题，但是到了上个世纪90年代，人工神经网络的研究却突然进入了沉寂。这是因为上个世纪90年代中期，以支持向量机为代表的一系列机器学习模型的提出，对人工神经网络这样的算法造成了强烈的冲击。

2. 人工神经网络的历史

2.1 人工神经网络的劣势

和支持向量机相比，多层神经网络的劣势：

多层神经网络在数学上不够优美，它的优化算法只能获得局部极值，算法的性能与初始值有关。
多层神经网络不可解释训练神经网络获得的参数与实际任务的关联性非常模糊。
模型可调整的参数很多，它包括网络层数、每层神经元个数、非线性函数、学习率、优化方法、终止条件等，使得训练神经网络变成了一门艺术，而以支持向量机为代表的方法所需要调整的参数却非常少。
如果要训练相对复杂的网络，那么需要大量的训练样本。这与支持向量机基于小规模训练样本而产生的方法是背道而驰的。

2.2 人工神经网络三剑客

由于这四个方面的劣势，使得人工神经网络的研究进入低潮期，从上个世纪90年代开始到本世纪初的前10年，机器学习方面的重要期刊和会议上，少见神经网络的研究论文。同时，也很少有人继续坚持这个方面的研究，但是研究领域却时常出现另类的学者，下面是三位在人工神经网络这条孤独的道路上前行了20年的学者，他们分别是Geoffrey Hintton、Yann LeCun、Yoshua Bengio。

在这里插入图片描述
Geoffrey Hintton作为1986年神经网络后向传播算法的提出者者之一，较早地在人工神经网络领域建立了自己的学术地位，从1987年开始，Geoffrey Hintton在加拿大多伦多大学任教。