6、前馈人工神经网络的数学本质与结构

前馈人工神经网络的数学本质与结构

1. 引言

人工神经网络旨在模拟生物神经网络的行为。其最初的发展期望是利用并行处理器计算，而非传统的串行计算。多年来，已开发出多种人工神经网络模型及相关学习算法。

从结构上看，有非递归网络和递归网络；依据网络功能，可分为联想记忆网络、前馈神经网络、自组织神经网络、自适应共振理论网络和优化网络等。每种网络都有其“原型”学习算法，能实现存储与回忆、学习与映射、聚类与关联或优化性能指标等功能。本文将主要聚焦于前馈神经网络，并从数学角度解释一些现象。

2. 数学神经元与数学神经网络

2.1 具有离散输出的MP模型

对于一个具有多输入单输出的前馈人工神经元，如McCulloch - Pitts（MP）模型，设输入向量 $X=(x_1, x_2, \cdots, x_n)$，权重向量 $W=(w_1, w_2, \cdots, w_n)^T$，神经元的阈值为 $\theta$，神经元的输入 - 输出函数（或称为激活函数）为 $\varphi$，若用 $z$ 表示神经元的输出，则该模型的方程为：
$z = \varphi(\sum_{i = 1}^{n}w_ix_i - \theta) = \varphi(X \cdot W - \theta)$
对于离散输出，$\varphi$ 可以是阶跃函数。

2.2 具有连续值输出的MP模型

对于连续值输出，$\varphi$ 可以是梯形函数、S形函数、高斯函数或位移函数（当 $c = 0$ 时为恒等函数）：
- 当 $u < u_0$ 时，$\varphi(u) = 0$
- 当 $