17、优化问题求解：无约束与约束问题的方法与实践

优化问题求解：无约束与约束问题的方法与实践

1. 无约束优化问题求解方法概述

在优化领域，无约束优化问题旨在找到一个向量 $x \in R^n$，使得目标函数 $f(x)$ 达到最小值。经典的纯牛顿法在解决这类问题时，需要在每次迭代 $k$ 计算 Hessian 矩阵的逆来确定搜索方向 $p(k)$。然而，当 Hessian 矩阵病态时，搜索方向的计算会不准确，导致迭代过程可能失败。为了克服这一问题，准牛顿法应运而生。

1.1 准牛顿法简介

准牛顿法不直接求 Hessian 矩阵的逆，而是在不同迭代中寻找其近似矩阵。具体来说，用一个正定矩阵 $B(k)$ 代替 $(H(k))^{-1}$，迭代 $k$ 时的搜索方向为 $p(k) = -B(k)g(k)$，通常迭代从 $B(0) = I$ 开始，其中 $I \in R^{n×n}$ 是 $n×n$ 的单位矩阵。准牛顿法的不同之处在于矩阵 $B(k)$ 在迭代 $k$ 时的更新方式，进而影响搜索方向的计算。最著名的准牛顿法包括 Davidon - Fletcher - Powell（DFP）法和 Broyden - Flethcher - Goldfarb - Shanno（BFGS）法。

1.2 BFGS 方法

1.2.1 原理

BFGS 方法从初始近似 Hessian 矩阵 $H(0) \approx I$ 开始。在迭代 $k$ 时，更新近似 Hessian 矩阵 $H(k)$ 得到 $H(k + 1)$ 用于下一次迭代。具体步骤如下：
1. 给定 $x(k)$、$g(k) = g(x(k))$ 和 $H(k)$，通过求解线性系统 $H(k)p(k