深度学习-38-基于PyTorch的卷积神经网络AlexNet

1 AlexNet (2012)

1.1 学习表征

在 2012 年以前，图像特征都是机械地计算出来的。在当时，设计一套新的特征函数、改进结果，并撰写论文是主流。

在传统机器学习方法中，计算机视觉流水线是由经过人的精心设计的特征流水线组成的。计算机视觉研究人员相信，从对最终模型精度的影响来说，更大或更干净的数据集、或是稍微改进的特征提取，比任何学习算法带来的进步大得多。

另有一些研究人员有不同的想法，他们认为特征本身就应该被学习。此外，他们还认为，在合理的复杂性前提下，特征应该由多个共同学习的神经网络层组成，每个层都有可学习的参数。

尽管一直有一群执着的研究者不断钻研，试图学习视觉数据的逐级表征，但很长一段时间都未能有所突破。深度卷积神经网络的突破出现在 2012 年，可归因于两个因素：数据和硬件。
(1)数据
2009 年，ImageNet 数据集发布，并发起 ImageNet 挑战赛，其推动了计算机视觉和机器学习研究的发展。

(2)硬件
深度学习对计算资源的要求很高，训练可能需要数百个迭代轮数，每次迭代都需要通过代价高昂的许多线性代数层传递数据。

然而，用 GPU 训练神经网络