4、深度学习：从起源到崛起的全面解析

深度学习：从起源到崛起的全面解析

1. 早期机器学习方法回顾

在探讨深度学习之前，让我们先回顾一些早期的机器学习方法。

1.1 逻辑回归

逻辑回归和朴素贝叶斯一样，虽然早于计算机时代就已出现，但因其简单通用的特性，至今仍在使用。数据科学家通常会先在数据集上尝试逻辑回归，以了解手头的分类任务。

1.2 早期神经网络

神经网络的核心思想早在20世纪50年代就以简单形式被研究，但由于缺乏高效训练大型神经网络的方法，其发展停滞了数十年。直到20世纪80年代中期，反向传播算法被重新发现，它通过梯度下降优化来训练参数化操作链，这才使得神经网络的训练成为可能。1989年，贝尔实验室的Yann LeCun将卷积神经网络和反向传播的早期思想结合，应用于手写数字分类问题，得到了名为LeNet的网络，该网络在20世纪90年代被美国邮政服务用于自动读取邮件信封上的邮政编码。

1.3 核方法

20世纪90年代，随着神经网络首次取得成功，核方法崛起并使神经网络一度被冷落。核方法中最著名的是支持向量机（SVM），其现代形式由Vladimir Vapnik和Corinna Cortes于20世纪90年代初在贝尔实验室开发，并于1995年发表。SVM通过找到分离两类的“决策边界”进行分类，具体步骤如下：
1. 数据映射 ：将数据映射到新的高维表示中，使决策边界可以表示为超平面（如果数据是二维的，超平面就是一条直线）。
2. 计算决策边界 ：通过最大化超平面与每个类中最接近数据点之间的距离（即最大化间隔）来计算一个好的决策边界，这