9、寻找函数最小值的算法解析

寻找函数最小值的算法解析

在优化问题中，寻找函数的最小值是一个核心任务。本文将深入探讨几种用于寻找函数最小值的算法，包括步长选择的影响、方向导数的概念、最速下降法、线搜索法以及这些算法的运动学解释。

1. 步长 η 的影响

在优化算法中，步长 η 的大小至关重要。它直接影响着算法的收敛速度和最终结果的准确性。
- 大 η 的情况 ：如果 η 过大，算法可能会过早停止，无法得到函数最小值点 x∗ 的良好近似。这就好比一个人在下山时，每一步迈得太大，可能会错过山谷的最低点。
- 小 η 的情况 ：若 η 过小，算法的停止阶数 m 会很大，这在计算机实现时可能会导致时间效率低下。就像一个人下山时每一步都很小，虽然能更精确地接近最低点，但会花费大量时间。

在实际应用中，步长 η 的选择是误差范围和运行应用时间效率之间的权衡。

2. 方向导数

方向导数用于衡量函数在某一点沿给定方向的瞬时变化率。设 v 是 Rn 中的单位向量，可微函数 f : U ⊂ Rn → R 在点 x0 ∈ U 处的方向导数定义为：
[
\frac{\partial f}{\partial v}(x_0) = \lim_{t \searrow 0} \frac{f(x_0 + tv) - f(x_0)}{t}
]
偏导数 (\frac{\partial f}{\partial x_k}) 是关于坐标向量 (v = (0, \ldots, 1, \ldots, 0)^T) 的方向导数。通过链式法则，方向导数可以计算为标量积：
[ <