19、卷积神经网络详解

卷积神经网络详解

1. 深度学习中的旧技术新应用

在深入研究深度学习时，你可能会惊讶地发现其中包含许多旧技术。但令人惊奇的是，如今这些技术的效果比以往任何时候都要好，因为研究人员终于知道如何让一些简单的旧解决方案协同工作，从而实现大数据的自动过滤、处理和转换。

例如，之前提到的修正线性单元（ReLU）等新型激活函数并非新事物，但现在它们有了新的应用方式。ReLU 是一种神经网络函数，它让正值保持不变，将负值变为零。早在 2000 年，Hahnloser 等人就在一篇科学论文中首次提及了 ReLU。此外，几年前让深度学习广受欢迎的图像识别能力也不是新的。

近年来，由于能够使用卷积神经网络（CNNs，也称为 ConvNets）将某些特性编码到架构中，深度学习取得了巨大的发展。法国科学家 Yann LeCun 和其他著名科学家在 20 世纪 80 年代末提出了 CNNs 的概念，并在 20 世纪 90 年代全面开发了这项技术。但直到大约 25 年后的现在，这些网络才开始取得惊人的成果，在某些特定的识别任务中甚至比人类表现得更好。这一变化的原因在于，可以将这些网络配置成复杂的架构，使其能够从大量有用的数据中优化学习。

CNNs 有力地推动了近期深度学习的复兴。接下来将讨论 CNNs 如何帮助检测图像边缘和形状，用于诸如识别手写文本、精确定位图像中的特定对象或分离复杂图像场景的不同部分等任务。

2. 从字符识别开启 CNN 之旅

CNNs 并不是一个新想法，它们在 20 世纪 80 年代末作为字符识别问题的解决方案出现。Yann LeCun 在 AT&T 实验室研究部工作时，与 Yoshua Bengio、Leon B