8、最小二乘优化及相关算法详解

最小二乘优化及相关算法详解

在优化问题中，最小二乘优化是一种重要的方法。在一般的无约束最小化技术里，利用问题的某些特性往往能够提高求解过程的迭代效率。最小二乘（LS）的梯度和海森矩阵具有特殊结构。

设 $F(x)$ 的 $m\times n$ 雅可比矩阵为 $J(x)$，$f(x)$ 的梯度向量为 $G(x)$，$f(x)$ 的海森矩阵为 $H(x)$，每个 $F_i(x)$ 的海森矩阵为 $H_i(x)$，则有：
[
\begin{cases}
G(x) = 2J(x)^TF(x)\
H(x) = 2J(x)^TJ(x) + 2Q(x)\
Q(x) = \sum_{i = 1}^{m}F_i(x)H_i(x)
\end{cases}
]
矩阵 $Q(x)$ 具有这样的性质：当 $x$ 趋近于解时，残差 $F(x)$ 趋近于零，那么 $Q(x)$ 也趋近于零。因此，当在解处 $F(x)$ 很小时，使用高斯 - 牛顿方向作为优化过程的基础是一种非常有效的方法。

高斯 - 牛顿法

在高斯 - 牛顿法中，在每个主要迭代 $k$ 处，会得到一个搜索方向 $d_k$，它是线性最小二乘问题的解：
[
\min_{d_k\in\mathbb{R}^n}|J(x_k)d_k - F(x_k)|_2^2
]
当可以忽略 $Q(x)$ 项时，该方法导出的方向等同于牛顿方向。搜索方向 $d_k$ 可作为线搜索策略的一部分，以确保在每次迭代中函数 $f(x)$ 减小。

以 Rosenbrock 函数为例，将其作为最小二乘问题时，高斯 - 牛顿法使用有限差分梯度仅经过