19、二阶无约束优化技术及其应用

二阶无约束优化技术及其应用

1. 迭代结果与算法终止

在优化算法的迭代过程中，有如下结果：
- 第四次迭代时，旧点（OldPoint）为 $[0.9998, -0.0002, -0.0004]^T$，旧值（OldValue）为 -1.5000，旧梯度（OldGradient）为 $1.0\times10^{-3} \times [0.5181, 0.4985, -0.1899]^T$，矩阵 $A_{Old}$ 为
[
\begin{bmatrix}
0.4000 & 0.1000 & -0.2000 \
0.1000 & 0.4000 & -0.3000 \
-0.2000 & -0.3000 & 0.6000
\end{bmatrix}
]
算法在三次迭代后终止，最终点 $x^{(3)} = [0.9998, -0.0002, -0.0004]^T$，非常接近最优点 $x^* = [1.0, 0, 0]^T$。同时，矩阵 $A$ 也收敛到解处精确海森矩阵的逆。

2. 戴维登 - 弗莱彻 - 鲍威尔（DFP）公式

DFP 是另一种拟牛顿方法，它采用秩 2 更新公式：
[
A^{(k + 1)} = A^{(k)} + \frac{\Delta x^{(k)}\Delta x^{(k)T}}{\Delta x^{(k)T}\Delta g^{(k)}} - \frac{A^{(k)}\Delta g^{(k)}\Delta g^{(k)T}A^{(k)}}{\Delta g^{(k)T}A^{(k)}\Delta g^{(