26、神经网络与符号框架：机器学习的两大支柱

神经网络与符号框架：机器学习的两大支柱

在机器学习的广阔领域中，连接主义框架和符号框架是两个重要的理论体系，它们各自有着独特的发展历程和应用场景。下面将为大家详细介绍这两个框架的核心内容。

连接主义框架：卷积神经网络的发展与知识蒸馏网络

卷积神经网络（Convolutional Neural Networks, CNN）在图像识别等领域取得了巨大的成功，其发展历程中涌现出了许多经典的模型。

• 经典卷积神经网络模型
  • LeNet - 5 ：1998 年，Yann LeCun 等人提出了七层卷积神经网络 LeNet - 5，它是卷积神经网络的先驱。该网络被美国 NCR 公司用于银行支票识别系统，用于识别 32×32 像素的手写阿拉伯数字。
  • AlexNet ：2012 年，Alex Krizhevsky 等人提出的 AlexNet 是卷积神经网络的一个成功典范。它在 ImageNet ILSVRC - 2012 竞赛中获得第一名，前 5 名检测错误率比第二名高出 10.9 个百分点。AlexNet 具有五层卷积层，在第 1、2 和 5 卷积层之后分别跟随一个最大池化层，接着是两个全连接层，最后一层是 softmax 分类层。它总共包含 650,000 个神经元和 6000 万个参数。AlexNet 使用了 ReLU 激活函数、多 GPU 训练方法、局部响应归一化、重叠池化策略、两种数据增强方法（平移图像和改变 RGB 通道值）以及 dropout 策略。