METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS 翻译（五）

METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS（五）

3.4. 混合方法：L-M 和准牛顿法

1988 年，Madsen 提出了一种混合方法，它结合了 L-M 方法（如果 $F\text{F}F({x\text{x}x}^{\ast })=0$，则为二次收敛，否则为线性收敛）和准牛顿方法（即使 $F\text{F}F({x\text{x}x}^{\ast })\ne 0$，它也可以给出超线性收敛）。迭代以 L-M 方法的一系列步骤开始。如果性能表明 $F\text{F}F({x\text{x}x}^{\ast })$ 显着不为零，那么我们切换到准牛顿方法以获得更好的性能。我们可能会得到一个迹象，表明最好切换回 L-M 方法，因此也有一种机制用于切换。

来自拉丁语：“准”=“几乎”。有关准牛顿方法的一般介绍，请参见 Frandsen et al (2004) 的第 5 章。

如果以下条件在三个连续的、成功的迭代步骤中得到满足，则切换到准牛顿法

$$||\dot{F\text{F}F}(x\text{x}x)|{|}_{\infty }<0.02\ast F(x\text{x}x)\text{\hspace{1em}(3.22)}$$

这被解释为表明我们正在接近 $\dot{F\text{F}F}({x\text{x}x}^{\ast })=0$ 且 $F({x\text{x}x}^{\ast })$ 显著非零的 ${x\text{x}x}^{\ast }$。结合 (3.12) 所讨论的，这会导致缓慢的线性收敛。

准牛顿方法基于在当前迭代 $x\text{x}x$ 处具有海塞矩阵 $\ddot{F\text{F}F}(x\text{x}x)$ 的近似 $B\text{B}B$，通过求解下列方程找到步长 ${h\text{h}h}_{qn}$

$$B\text{B}B{h\text{h}h}_{qn}=-\dot{F\text{F}F}(x\text{x}x)\text{\hspace{1em}(3,23)}$$

这是牛顿方程（2.9a）的近似值。

近似值 $B\text{B}$