8、自适应神经网络的调整算法解析

自适应神经网络的调整算法解析

1. 问题陈述

在设计神经网络时，二次优化泛函的选择基于给定的一般输入信号特征、一次优化准则和开环神经网络结构。闭环神经网络是在开环神经网络基础上加入了调整单元。其开发基于选定的二次优化准则和给定泛函的极值搜索方法，关键在于估计二次优化泛函梯度向量。解决该问题有两种途径：
- 基于搜索振荡结果分析的搜索过程。
- 以解析表达式形式确定梯度向量估计。

优先选择第一种方法，但并非总能实现。若系统无法选择表征优化泛函梯度的信号，则需采用搜索振荡方法。

下面将考虑不同类型的识别系统：
- 两类模式的双解神经元。
- K 类模式的 Kp 解神经元。
- 具有连续解和连续模式类的神经元。
- 由具有连续解的神经元组成的多层神经网络，且可调系数存在或不存在约束。
- 具有 N*维信号 ε(n) 和 y(n) 的多层神经网络。
- 具有交叉和反向连接的多层神经网络。

对于瞬态模式，神经网络设计方法可轻松推广。梯度向量的实现是一个非平稳多维随机过程，这决定了神经网络调整单元中多维滤波器的设计方法。多层神经网络在学习模式和任意教师资格模式下的设计问题也需特别关注，此时闭环神经网络的设计方法与学习模式相同。设计闭环神经网络调整算法，需将泛函梯度向量的估计表达式代入相应的搜索过程表达式。

2. 双解连续体神经元

对于双解神经元，考虑四种二次优化泛函 |α 1a|、|α 2a|、|α 1g| 和 |α 2a|。以类似误差一阶矩绝对值的估计表达式为例，设计可闭环调整的神经元的递归表达式如下：
[
\text{(9.1