25、非线性优化方法：无约束与有约束问题求解

非线性优化方法：无约束与有约束问题求解

1. 无约束非线性优化方法

1.1 Fletcher - Reeves 方法

Fletcher - Reeves 方法通过两个改变来解决问题。一是通过线搜索确定沿每个共轭向量的一维最小值；二是用非线性函数的梯度代替残差。其步骤如下：
1. 设置初始猜测值 (x_0)。在 (x_0) 处，计算函数 (f(x_0)) 及其梯度 (\nabla f(x_0))。设置 (p_0 = -\nabla f(x_0))。指定残差的收敛容差 (\epsilon > 0)，并将迭代次数 (i) 设为 0。
2. 检查梯度 (\nabla f(x_i)) 的范数。如果 (|\nabla f(x_i)| < \epsilon)，则停止。
3. 沿共轭向量方向进行线搜索，确定最小值 (x_{i + 1} = x_i + \alpha_i p_i)。
4. 计算梯度 (\nabla f(x_{i + 1}))。
5. 设置 (\beta_{i + 1} = \frac{\nabla f(x_{i + 1})^T \nabla f(x_{i + 1})}{\nabla f(x_i)^T \nabla f(x_i)})。
6. 设置共轭向量 (p_{i + 1} = -\nabla f(x_{i + 1}) + \beta_{i + 1} p_i)。
7. 设置 (i = i + 1)，转到步骤 2。

1.2 二阶方法

1.2.1 牛顿法

牛顿法在每次迭代时用二次函数近似函数 (f(x))，精确地最小化近似的二次函数，并计算下降方向。在每