16、全连接神经网络与感知机：原理、实践与局限

全连接神经网络与感知机：原理、实践与局限

1. 神经网络概述

神经网络领域的发展旨在引入深度学习网络，并探讨深度学习的基础方程。主要涉及两种类型的神经网络：全连接神经网络（FCNNs）和卷积神经网络（CNNs）。全连接神经网络的输入为模式向量，而卷积神经网络的输入则是图像。

神经网络概念的起源可追溯到20世纪40年代初，McCulloch和Pitts在1943年提出了以二进制设备和涉及0 - 1、1 - 0状态变化的算法形式的大脑神经元模型，作为神经网络系统建模的基础。随后，Hebb在1949年基于数学模型，尝试捕捉强化或关联学习的概念，这是现代学习概念的前身。

在20世纪50年代中期至60年代初，一类被称为感知机（当时也被称为学习机器）的模型引起了模式识别研究人员和从业者的极大兴趣。数学证明表明，当使用线性可分的训练集（即可以由超平面分离的训练集）训练感知机时，它将在有限的迭代步骤内收敛到一个解。这个解以超平面的参数（系数）的形式存在，能够正确分离训练集中模式所代表的类别。

然而，很快人们就发现单个感知机无法解决具有实际意义的问题，于是开始尝试构建感知机层，理论上多层感知机应该更强大。直到1986年，Rumelhart、Hinton和Williams报告了一种名为反向传播的新方法，才能够训练类似感知机的计算元素的多层网络，即我们前面提到的FCNNs。不久之后，LeCun等人在1989年提出了第一个使用卷积训练基于图像的神经网络的实用系统，这成为了前面提到的CNNs的基础。直到2012年ImageNet挑战赛的结果公布，CNNs才开始广泛应用于复杂图像模式分类任务的解决。

2. 感知机原理

2.1 感知机的计算 <