12、多层感知器：原理、训练与应用

多层感知器：原理、训练与应用

1. 引言

人工神经网络模型的灵感来源于大脑。在工程领域，我们关注人工神经网络，是希望借助其能力构建更出色的计算机系统。大脑作为强大的信息处理设备，在视觉、语音识别和学习等诸多领域的能力远超现有工程产品。若能洞悉大脑执行这些功能的机制，我们就能将其转化为正式算法并在计算机上实现。

大脑与计算机存在显著差异。计算机通常只有一个处理器，而大脑由约 10¹¹ 个并行运行的神经元组成。尽管神经元的处理能力简单且速度较慢，但大脑强大的计算能力得益于神经元间大量的连接（突触），每个神经元大约与 10⁴ 个其他神经元相连。此外，大脑中的处理和记忆是分布式的，神经元负责处理信息，突触则存储记忆。

1.1 理解大脑

根据Marr（1982）的观点，理解信息处理系统有三个层面：
1. 计算理论 ：对应计算目标和任务的抽象定义。
2. 表示与算法 ：涉及输入和输出的表示方式，以及从输入到输出的转换算法。
3. 硬件实现 ：系统的实际物理实现。

以排序为例，计算理论是对给定元素进行排序，可采用整数表示，算法可以是快速排序。编译后，特定处理器对二进制表示的整数进行排序的可执行代码就是一种硬件实现。对于同一计算理论，可能存在多种表示和算法；对于给定的表示和算法，也可能有多种硬件实现。

大脑是学习或模式识别的一种硬件实现。通过逆向工程，我们可以从大脑的实现中提取表示和算法，进而得到计算理论，然后寻找更适合自身条件和约束的表示、算法及硬件实现。在研究人工神经网络时，我们处于表示