AlexNet论文阅读笔记

前言

    继续记录网络结构论文的笔记。这篇AlexNet论文展示了卷积神经网络的优秀性能和无限潜力，引发了深度学习热潮，自然是必读的。首先对论文的全文做一个简要的总览（顺带加入一些自己的理解），然后再记录一些疑问和思考。下面的这些资料给了我很大启发，在此表示感谢，同时附上原文链接：
　　AlexNet网络详解及各层作用
　　AlexNet网络结构分析及pytorch代码
　　AlexNet详解3
　　AlexNet 讲解及pytorch实现 ----1 AlexNet主要技术突破点
　　【深度学习】AlexNet原理解析及实现
　　从AlexNet理解卷积神经网络的一般结构
　　AlexNet论文详解
　　为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
　　深度学习中关于平均池化和最大池化的理解
　　AlexNet的基本结构
　　AlexNet论文下载传送门

AlexNet论文阅读笔记

1 Introduction

    提到了研究背景：对于简单的物体识别的任务，小的数据集已经可以胜任这项工作了（例如mnist，性能已经接近人类的分辨能力了）。但是真实世界的物体千奇百怪各有不同，要完成分类任务需要很大的数据集。此时人们也已经认识到了小数据集的缺陷，但是仅仅是在最近人们才有能力获得百万量级图像的数据集。
　　尽管ImageNet的数据集已经很大了，但是对于物体识别的问题来说还是不够大，需要一些先验知识来补偿我们没有的数据（这个应该是为后面的数据增强做铺垫）。之后文章列举了一些CNN的参考文献，来说明CNN的优势（模型的容量可以通过网络的深度和宽度来控制，具有统计的稳定性和像素依赖的局部性，参数更少更易训练）。
　　提到了三点CNN发展的有利因素：GPU的进步、对于二位卷积的高度优化、以及诸如ImageNet这样大规模的数据集防止过拟合。
　　提到了本文模型的优势和技术特点：在ILSVRC-2010和ILSVRC-2012数据集上都取得了最好的效果、模型使用高度优化的GPU实现、一系列新的且不寻常的手段来提高性能并减少训练时间、一些防止过拟合的策略。最后，论文提到模型的深度很重要，本文的模型移除任何一个卷积层（该层包含的参数不超过模型总参数的1%）都会导致性能的下降。

2 T