11、深度学习与机器学习：历史、架构与应用

深度学习与机器学习：历史、架构与应用

1. 反向传播（Back Propagation）的发展

反向传播（BP）在深度学习模型训练中具有重要地位。1970 年，Seppo Linnainmaa 在撰写硕士论文时，连同一个用于反向乘法的 FORTRAN 程序，使得 BP 有了显著进展。然而，直到 1985 年，Rumelhart、Williams 和 Hinton 在神经网络中展示反向传播，以提供“有趣的”运动描述，BP 才真正应用于神经网络。这一发现也引发了关于人类认知是基于有意义推理（计算主义）还是分布式描述（连接主义）的思考。

1989 年，Yann LeCun 在贝尔实验室首次对 BP 进行了实际展示，他将卷积神经网络（CNN）与反向乘法结合，用于分析“转录”数字，该装置最终用于数字模式分析。但随后的 AI 寒冬（1985 - 1990 年代）对神经网络和深度学习的研究产生了影响，一些人对 AI 的“快速”极限的错误认知，使 AI 一度被视为伪科学。不过，仍有部分人坚持研究，取得了一些重要进展。

1995 年，Dana Cortes 和 Vladimir Vapnik 提出了支持向量机（一种用于分类和识别相似数据的系统）。1997 年，Sepp Hochreiter 和 Juergen Schmidhuber 为循环神经网络（RNN）开发了长短期记忆网络（LSTM）。1999 年，计算机处理速度加快，图形处理单元（GPU）的出现，使得图像处理速度比之前快了 1000 倍，此时神经网络开始与支持向量机竞争，尽管神经网络速度可能较慢，但在使用相同数据时能提供更好的结果，并且随着训练数据的增加，性能会不断提升。

在 1999 - 2000 年，出现了“梯度消失