CNN进化史

猫神经元

RECEPTIVE FIELDS, BINOCULAR INTERACTION AND FUNCTIONAL ARCHITECTURE IN THE CAT’S VISUAL CORTEX-1961

创新点（innovation）：

• Hubel和Wiesel在1958年的猫视觉皮层实验中，首次观察到视觉初级皮层的神经元对移动的边缘刺激敏感，并定义了简单和复杂细胞，发现了视功能柱结构。
• 提出了receptive field的概念
• 在猫的头颅上开了一个洞，插入电极，然后在猫清醒的时候在它眼前播放幻灯片，来分析它的大脑皮层产生的电信号。最终得出结论是猫的眼睛在观看物体时，大脑皮层上的不同区域的脑细胞会针对于这个物体的不同区域做出反应，然后所有细胞的反应结合到一起才能让猫识别出这个物体。

Neocognitron

Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position-1980

观点（view）：

• 仿照猫神经元的网络结构可以实现自组织学习

创新点（innovation）：

• 提出了类似卷积的结构（不一定是正方形）
• 类似于的hebb学习规则的学习方式
• 结果有很强的鲁棒性

卷积神经网络的雏形

Backpropagation applied to handwritten zip code recognition-1989

观点（view）：

• 减少参数来减少对算力的要求
• 神经网络可以从原始图片中学习，而不用从特征向量中学习

创新点（Innovation）：

• 采用反向传播的方法来更新参数
• 采用convolution->convolution->fully connection的结构

LeCun-5

Gradient-Based Learning Applied to Document Recognition-1998:

观点（view）：

• $E_{test}-E_{train}=k(\frac{h}{n})^{\alpha}$，$n$是数据量
• 机器学习：raw input-feature extraction module->feature vector-classifier module->class score，传统的模式识别特征提取是固定的。神经网络特征提取也是可训练的。

创新点（Innovation）：

• 提出了convolution->maxpool->fully connection的CNN结构

AlexNet

ImageNet Classification with Deep Convolutional Neural Networks-2012:

观点（view）：

• 增加数据量和算力，性能会提升
• 去掉任意一个卷积层，性能都会下