2、深度学习：概念、历史与应用解析

深度学习：概念、历史与应用解析

一、深度学习的历史脉络

深度学习的历史漫长且有些复杂。事实上，“深度学习”自20世纪40年代就已存在，期间经历了多次名称变更，如控制论、联结主义，以及最为人熟知的人工神经网络（ANNs）。

ANNs受人类大脑及其神经元相互作用的启发，但并非是大脑的真实模型，而是一种灵感来源，让我们能在大脑的基本模型和如何通过人工神经网络模仿其行为之间找到相似之处。

1. 早期神经网络模型
   • 1943年，McCulloch和Pitts提出了第一个神经网络模型，这是一个二元分类器，能够根据输入识别两种不同的类别。然而，该模型确定输入类别标签所需的权重需要人工手动调整，若需要人工干预，这种模型显然难以大规模应用。
   • 20世纪50年代，Rosenblatt发表了开创性的感知机算法。该模型可以自动学习对输入进行分类所需的权重，无需人工干预。这种自动训练过程构成了随机梯度下降（SGD）的基础，而SGD至今仍用于训练深度神经网络。
2. 发展停滞期
   • 1969年，Minsky和Papert的一篇论文使神经网络研究停滞了近十年。他们的研究表明，具有线性激活函数的感知机（无论深度如何）只是一个线性分类器，无法解决非线性问题，如异或（XOR）数据集问题。同时，他们认为当时没有足够的计算资源来构建大型深度神经网络，后来证明他们的观点是正确的。
3. 复苏与发展