AlexNet 讲解及pytorch实现 ----1 AlexNet主要技术突破点

一. AlexNet网络结构

2012年，该网络ILSVRC-2012图像分类的冠军，top-5的识别错误率为15.3%， 比第二名高出10个百分点。

1. 下面是论文中的网络结构：
   

原始网络将模型分为两部分，分开在两个GPU上训练，与下面合并的网络结构等价：

2. 各部分网络结构的参数及输入输出图像大小计算：
   

二. AlexNet的意义及技术优势

1. 在神经网络罗发展历史上的重要意义

• 证明了CNN在复杂模型下的有效性
• 使用GPU训练可以在可接受的时间内得到结果
  以上两点推动了深层网络结构的构建以及采用GPU的加速训练方法 。

2. 技术上引进新的思想

1. 激活函数使用Relu， 不再使用sigmoid和tanh函数，其优势在于收敛速度更快，使得训练时间更短， 已成为卷积神经网络最常用的激活函数。https://blog.youkuaiyun.com/NOT_GUY/article/details/78749509

   函数形式： $f(x)$