3.2 连接主义：人工神经网络、分布式表示与深度学习

3.2 连接主义：人工神经网络、分布式表示与深度学习

连接主义，亦称仿生学派或神经网络学派，构成了人工智能领域与符号主义分庭抗礼乃至后来居上的核心范式。其基本哲学是：智能并非源于对离散符号的显式逻辑操作，而是从大量简单处理单元（神经元）通过加权连接构成的复杂网络中涌现出来的。该范式强调学习而非编程，强调通过调整单元间的连接强度来适应环境，其知识以分布式的方式存储于整个网络之中。从早期的感知机模型，到基于误差反向传播的多层网络，再到引发当前人工智能革命的深度学习，连接主义的发展历程正是其核心思想不断深化和扩展的过程。

3.2.1 生物启发与形式化神经元模型

连接主义的灵感直接来源于对生物神经系统的简化模拟。生物神经元通过树突接收信号，在细胞体内整合，若信号强度超过某个阈值则通过轴突产生动作电位输出。1943年，麦卡洛克和皮茨提出了第一个形式化的神经元模型（M-P模型），将这一过程抽象为逻辑计算[1]。

现代人工神经元是M-P模型的扩展。对于一个具有 $n$ 个输入的神经元，其操作可形式化描述如下：

1. 加权求和：每个输入 $x_i$ 与一个可调的权重 $w_i$ 相乘，代表连接强度。对所有加权输入及一个偏置 $b$ 求和，得到净输入 $z$：
   $$z=\sum _{i=1}^n{w}_i{x}_i+b$$
   其中，偏置 $b$ 用于调节神经元激活的难易程度。
2. 激活函数：净输入 $z$ 被送入一个非线性的激活函数 $f(\cdot )$，产生神经元的输出 $a$：
   $$a=f(z)$$
   激活函数引入了非线性，这是神经网络能够拟合复杂函数的关键。常用激活函数包括：
   • Sigmoid: $f(z)=\frac{1}{1+e^{-z}}$，将输出压缩到(0,1)，曾广泛使用但易导致梯度消失。
   • 双曲正切: $f(z)=\tanh (z)$，输出范围(-1,1)，梯度特性略优于Sigmoid。
   • 修正线性单元: $f(z)=\max (0,$