10、前馈过程神经网络与学习算法解析

前馈过程神经网络与学习算法解析

前馈过程神经网络基础理论

在神经网络领域，前馈过程神经网络有着独特的理论体系。首先，从计算能力定理来看，连续过程神经网络的计算能力与图灵机相当。这是通过以下逻辑证明的：过程神经网络的计算能力不会大于图灵机；同时，某定义下的过程神经网络计算能力与图灵机等价，且它是另一类过程神经网络的特殊情况，所以另一类过程神经网络的计算能力也不会小于图灵机，进而得出连续过程神经网络的计算能力与图灵机等价的结论。

当前使用的各种前馈神经网络模型，如时不变神经网络、模糊神经网络和各类过程神经网络等，虽结构特征、信息处理方法以及输入输出变量类型不同，但从功能角度看，都可视为在某些功能空间中表示特定输入输出映射关系的功能算子。因此，这些神经网络可归纳为统一的神经网络模型，即通用功能模型。

功能神经元

功能神经元的输入和输出是某些功能空间中的点，具有相应的激活功能和聚合算子，是现有研究过的神经元模型的数学抽象，现有神经元可看作其特殊情况。其结构中，输入(X=(X_1, X_2, … , X_n))和输出(y)分别是功能空间(A)、(B)中的点，(M=(M_1, M_2, … , M_n))、(C)和(T)分别是对应空间中的修正、聚合和激活算子。以下是几种常见神经元模型的具体形式：
1. 多输入单输出MP神经元模型 ：对应功能神经元通用模型中(A)、(B)为实数集的情况，(M(X)=W X)（(W)为权重向量），(C)为求和运算，(T=f)（(f)一般采用Sign或Sigmoid函数）。
2. 实数输入的模糊神经元 ：(A)、(B)为非模糊集，