15、无导数无约束优化技术及电气应用

无导数无约束优化技术及电气应用

1. 响应面近似方法

在无导数无约束优化问题的求解中，响应面近似是一类重要的技术。其核心思想是用低阶函数（通常为多项式）来近似目标函数。当通过该方法得到的响应不理想时，会构建一个更优的表面近似。

1.1 多维二次函数近似

我们在参数空间的某个子域内，用多维二次函数近似目标函数$f(x)$：
[A(x) = a + b^T x + x^T D x]
其中，$a$为标量，$b \in \mathbb{R}^{n\times1}$，$D \in \mathbb{R}^{n\times n}$且$D$为对角矩阵。使用对角矩阵可忽略二次近似中的混合二阶导数，减少模型的未知量。该模型可展开为：
[A(x) = a + \sum_{i=1}^{n} b_i x_i + \sum_{i=1}^{n} d_i x_i^2]
这里$b = [b_1, b_2, \cdots, b_n]^T$，$D = diag(d_1, d_2, \cdots, d_n)$。此近似有$(2n + 1)$个未知系数，因此需要$N = 2n + 1$个独立信息来求解这些系数。

1.2 星型分布点的应用

本节方法利用参数空间中$N$个点的目标函数值。由于近似仅在局部有效，对于三维情况，我们使用星型分布点。在第$k$次迭代中，星型分布以$x^{(k)}$为中心点，其点集为：
[S^{(k)} = {x^{(k)}, x^{(k)} \pm \Delta_i e_i, i = 1, 2, \cdots, n}]
在这个式子中，通过在第$i$个坐标方向上使用扰动$\pm\Delta_i$来创建点，该集合有