16、一阶无约束优化技术详解

一阶无约束优化技术详解

在优化领域中，我们常常需要找到目标函数的最优解。为了实现这一目标，有多种优化技术可供选择。接下来，我们将详细介绍一阶无约束优化的相关方法，包括最速下降法和共轭方向法。

1. 优化技术概述

优化技术大致可分为两类：
- 无灵敏度信息技术 ：这类技术不依赖于目标函数的灵敏度信息，仅利用参数空间中多个点的目标函数值来逼近最优解。它们通过这些函数值推断函数的行为，并预测下降方向。
- 基于灵敏度的优化算法 ：该算法利用一阶或二阶灵敏度信息来指导优化迭代。它们具有稳健的收敛证明，能在每次迭代中生成更优的解，直至足够接近最优解。然而，估计灵敏度需要成本。对于一个具有(n)个参数的系统，估计一阶灵敏度至少需要(n)次额外的模拟。若(n)很大或目标函数的估计需要大量时间的数值模拟，这种开销将非常显著。估计二阶伴随灵敏度则需要(O(n^2))次额外模拟。不过，近年来一阶和二阶伴随灵敏度的研究进展显著降低了这种开销。

我们主要关注一阶无约束优化方法，这些方法假设可以通过有限差分近似或伴随灵敏度方法得到一阶导数。下面重点介绍最速下降法和共轭梯度法。

2. 最速下降法

最速下降法是一种常用的优化方法。目标函数的梯度(\nabla f)是函数增加最快的方向，其反方向(-\nabla f)则是函数下降最快的方向，即最速下降方向。在第(k)次迭代中，从当前点(x^{(k)})出发，沿着最速下降方向搜索可得到新点：
[x^{(k + 1)} = x^{(k)} + \lambda^ (-\nabla f(x^{(k)}))]