8、一维搜索方法全解析

一维搜索方法全解析

在优化问题中，一维搜索方法是基础且关键的工具。它帮助我们在一个变量的函数中找到最优解，广泛应用于工程、科学和经济等多个领域。下面将详细介绍几种常见的一维搜索方法，包括斐波那契法、二分法、牛顿法和割线法，并通过具体例子展示它们的应用。

1. 斐波那契法

1.1 原理

黄金分割法在整个过程中使用相同的 $\rho$ 值。而斐波那契法允许在每一步改变 $\rho$ 值，在第 $k$ 步使用 $\rho_k$，下一步使用 $\rho_{k + 1}$ 等。目标是选择 $0 \leq \rho_k \leq \frac{1}{2}$ 的 $\rho_k$ 序列，使得每一步只需要进行一次新的函数评估。

通过推导可得 $\rho_{k + 1}$ 与 $\rho_k$ 的关系为：
$\rho_{k + 1} = 1 - \frac{\rho_k}{1 - \rho_k}$

经过 $N$ 次迭代后，不确定性范围缩小的因子为 $(1 - \rho_1)(1 - \rho_2) \cdots (1 - \rho_N)$。为了使这个缩小因子最小，我们面临一个约束优化问题：
$\text{minimize} \quad (1 - \rho_1)(1 - \rho_2) \cdots (1 - \rho_N)$
$\text{subject to} \quad \rho_{k + 1} = 1 - \frac{\rho_k}{1 - \rho_k}, \quad k = 1, \cdots, N - 1$
$\quad \quad \quad \quad 0 \leq \rho_k \leq \frac