7、多元函数极值搜索算法的开发与应用

多元函数极值搜索算法的开发与应用

1. 多层神经网络中的二次优化泛函极值搜索过程

在多层神经网络中进行二次优化泛函极值搜索时，采用迭代方法结合梯度搜索程序来寻找局部极值。同时，会考虑梯度程序的稳定性、收敛性问题以及加速极值搜索的可能性。在多层神经网络实现中，还会考虑等式和不等式类型的约束条件。

多元函数极值搜索方法主要沿两条路线发展：
- 标准搜索程序设计 ：详细考虑函数的性质，通常在不研究瞬态过程动态的情况下分析方法在稳态下的收敛性和精度。
- 自适应系统调整算法设计 ：由于问题的特殊性和输入信号特性的先验信息不足，函数以最一般的形式给出。多层神经网络是自适应系统的一个特例，即使开环神经网络结构固定，也无法知晓二次优化泛函的具体形式，只能知道在闭环调整过程中存在一些局部极值需要寻找。

2. 多元函数极值搜索迭代方法分析

2.1 系统状态向量计算表达式

在搜索函数 (Y(a)) 极值时，对于单位搜索系统内存，在时间 (n + 1) 时系统状态向量的一般计算表达式为：
[a(n + 1) = a(n) + K^ \nabla Y(a(n))]
其中，(Y(a)) 是二次优化泛函，(a(n)) 是系统状态向量（极值函数的当前参数值），(K^ ) 是 ([N_0× N_0]) 系数矩阵，(N_0) 是向量 (a) 的维数。

矩阵 (K^*) 系数的选择决定了迭代方法的收敛速度和质量。此过程描述了多种已知的搜索方法，如扫描法、最速下降法、梯度法、高斯 - 赛德尔法、罗森布罗克法、鲍威尔