CNN进化史

最新推荐文章于 2023-01-09 16:51:37 发布

原创

最新推荐文章于 2023-01-09 16:51:37 发布 · 1.1k 阅读

CC 4.0 BY-SA版权

从猫神经元实验开始，卷积神经网络（CNN）经历了Neocognitron、LeCun-5、AlexNet等多个重要阶段，不断演进。文章详细介绍了各个阶段的关键创新点，如ReLU非线性、批归一化、残差网络等，展示了深度学习在图像识别领域的卓越性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RECEPTIVE FIELDS, BINOCULAR INTERACTION AND FUNCTIONAL ARCHITECTURE IN THE CAT’S VISUAL CORTEX-1961

创新点（innovation）：

Hubel和Wiesel在1958年的猫视觉皮层实验中，首次观察到视觉初级皮层的神经元对移动的边缘刺激敏感，并定义了简单和复杂细胞，发现了视功能柱结构。
提出了receptive field的概念
在猫的头颅上开了一个洞，插入电极，然后在猫清醒的时候在它眼前播放幻灯片，来分析它的大脑皮层产生的电信号。最终得出结论是猫的眼睛在观看物体时，大脑皮层上的不同区域的脑细胞会针对于这个物体的不同区域做出反应，然后所有细胞的反应结合到一起才能让猫识别出这个物体。

Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position-1980

观点（view）：

创新点（innovation）：

Neocognitron 结构

Backpropagation applied to handwritten zip code recognition-1989

观点（view）：

创新点（Innovation）：

这里写图片描述

Gradient-Based Learning Applied to Document Recognition-1998:

观点（view）：

$E_{test}-E_{train}=k(\frac{h}{n})^{\alpha}$ ， $n$ 是数据量
机器学习：raw input-feature extraction module->feature vector-classifier module->class score，传统的模式识别特征提取是固定的。神经网络特征提取也是可训练的。