11、一维优化——线搜索

一维优化——线搜索

1. 引言

在优化理论中，单变量优化问题具有特殊的重要性。这是因为多维优化问题通常通过利用单变量优化方法的迭代算法来解决。在算法的第 $k$ 次迭代中，首先会在 $n$ 维参数空间中确定一个有前景的搜索方向 $s^{(k)}$。从第 $k$ 次迭代的解 $x^{(k)}$ 开始，沿着方向 $s^{(k)}$ 进行线搜索。该直线上的一般点可表示为 $x = x^{(k)} + \alpha s^{(k)}$，其中 $\alpha > 0$ 是搜索参数。搜索参数的最优值是使目标函数在方向 $s^{(k)}$ 上最小化的值，即：
$\alpha^* = \arg \min_{\alpha} f(x^{(k)} + \alpha s^{(k)})$

由于 $x^{(k)}$ 和 $s^{(k)}$ 都是常数，函数 $f(\alpha) = f(x^{(k)} + \alpha s^{(k)})$ 是关于参数 $\alpha$ 的单变量函数。可以对上述问题应用一维优化算法，原 $n$ 维空间中的相应解为 $x^{(k + 1)} = x^{(k)} + \alpha^* s^{(k)}$。对函数 $f(\alpha) = f(x^{(k)} + \alpha s^{(k)})$ 关于 $\alpha$ 求导可得 $f’(\alpha) = \nabla f(x^{(k)})^T s^{(k)}$，这个表达式是先对 $f$ 关于其向量参数求导，再对向量参数关于 $\alpha$ 求导得到的。导数 $f’(\alpha)$ 被称为函数 $f$ 在方向 $s^{(k)}$ 上的方向导数，对于下降方向，它必须为负。

下面通过一个例子来说明一维线搜索的概念。