7、深度学习：从卷积网络到多领域应用的发展历程

深度学习：从卷积网络到多领域应用的发展历程

1. 神经网络的发展转折与稳步推进

2000 年，80 年代的神经网络热潮退去，神经网络回归到正常的科学研究范畴。Geoffrey Hinton 在 1987 年迁至多伦多大学后，持续对神经网络进行渐进式改进。新世纪初，他成为加拿大高级研究所（CIFAR）神经计算与自适应感知（NCAP）项目的负责人，该项目汇聚了约二十五位来自加拿大及其他国家的研究人员，专注于利用机器学习解决难题。

在机器学习领域，相关研究稳步前行：
- 新算法涌现 ：NIPS 会议在 80 年代成为神经网络的孵化地，并为处理大型高维数据集的其他算法敞开大门。1995 年，Vladimir Vapnik 的支持向量机（SVM）登场，凭借“核技巧”这一数学变换，使数据点在超空间中更易分离，为感知器网络开辟了新的篇章。Tomaso Poggio 开发的“HMAX”分层网络表明，更深的网络可能提升性能。
- 图形模型与贝叶斯网络结合 ：新世纪伊始，图形模型与基于托马斯·贝叶斯定理的贝叶斯网络相融合。Judea Pearl 引入的“信念网络”经拓展后，为机器学习研究人员构建了强大的算法库。
- 计算机性能提升推动网络训练 ：随着计算机处理能力呈指数级增长，训练更大规模的网络成为可能。起初人们认为更宽的神经网络更有效，但实践证明逐层训练的深层网络表现更佳。克服了消失误差梯度问题后，深层反向传播网络在基准测试中展现出优势。

在计算机视觉领域，物体识别性能逐年缓慢提升。直到 2012 年，Geoffrey Hinton 及其学生利用深度学习训