深度学习介绍（二）背景

卷积神经网络背景
LeCun的LeNets深度学习网络可以被广泛应用在全球的ATM机和银行之中，它可以理解支票上写的是什么。但仍然存在很多质疑，LeCun说道，“不知何故，似乎现在还是无法说服计算机视觉领域圈子，他们仍然觉得卷积神经网络没什么价值。”其中部分原因，可能是因为这项技术虽然强大，但是没有人可以理解它为什么如此强大，而且这项技术的内部工作方式仍然是个谜。因此，为了让大家能够更清楚的了解一些卷积神经网络内部的工作方式，我们先来介绍一些比较轻松的卷积神经网络发展的背景知识。
神经网络，顾名思义，是模仿人的大脑的工作方式来进行建模的一种数学模型。因此它的发展也或多或少的受到脑科学研究的启发。
一个实验
1958 年，David Hubel 和Torsten Wiesel 在研究瞳孔区域与大脑皮层神经元的对应关系时，做了个实验。他们在猫的后脑头骨上，开了一个3 毫米的小洞，向洞里插入电极，测量神经元的活跃程度。然后，他们在小猫的眼前，展现各种形状、各种亮度的物体。并且，在展现每一件物体时，还改变物体放置的位置和角度。他们期望通过这个办法，让小猫瞳孔感受不同类型、不同强弱的刺激。
之所以做这个试验，目的是去证明一个猜测。位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活跃。经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小猫，David Hubel 和Torsten Wiesel 发现了一种被称为“方向选择性细胞（Orientation Selective Cell）”的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。（他们两个也因为这个发现获得了1981 年的诺贝尔医学奖。而这个生理学的发现，也促成了计算机人工智能，在四十年后的突破性发展。）
这个发现激发了人们对于神经系统的进一步思考。
神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。这里的关键词有两个，一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。
例如，从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某