17、无约束与约束优化问题的求解方法

无约束与约束优化问题的求解方法

1. 无约束优化问题求解方法概述

在解决无约束最小化问题时，纯牛顿法存在一定的局限性。在第 $k$ 次迭代中，需要计算海森矩阵的逆来确定搜索方向 $p(k)$。当海森矩阵病态时，得到的搜索方向会不准确，迭代过程可能失败。为了解决这个问题，拟牛顿法应运而生，它在不同的迭代中寻找海森矩阵的近似值。

2. 拟牛顿法

拟牛顿法用正定矩阵 $B(k)$ 代替 $H(k)^{-1}$，第 $k$ 次迭代的搜索方向为 $p(k) = -B(k)g(k)$，通常从 $B(0) = I$ 开始，其中 $I$ 是 $n×n$ 的单位矩阵。拟牛顿法的不同之处在于矩阵 $B(k)$ 在第 $k$ 次迭代的更新方式，进而计算搜索方向。最著名的拟牛顿法有 Davidon - Fletcher - Powell（DFP）和 Broyden - Flethcher - Goldfarb - Shanno（BFGS）方法。

2.1 BFGS 方法

BFGS 方法从海森矩阵的初始近似 $H(0) ≈ I$ 开始。在第 $k$ 次迭代中，更新近似海森矩阵 $H(k)$ 以得到 $H(k + 1)$，用于下一次迭代。具体步骤如下：
1. 给定 $x(k)$、$g(k) = g(x(k))$ 和 $H(k)$，通过求解线性系统 $H(k)p(k) = -g(k)$ 找到搜索方向 $p(k)$。
2. 使用线搜索算法确定步长 $\alpha(k)$。
3. 计算两个向量：$s(k) = \alpha(k)p(k)$ 和 $y(k) = g(x(k) + s(k)) - g(x(k))$。
4. 更新海森矩