24、线性系统估计中的迭代求解方法

线性系统估计中的迭代求解方法

在解决线性系统问题时，迭代求解方法是非常重要的工具。本文将详细介绍几种常见的迭代求解方法，包括超松弛迭代法（SOR）、共轭梯度法（CG）、迭代预处理方法以及多重网格法（Multigrid）。

1. 超松弛迭代法（SOR）

在超松弛迭代法中，有一个重要的参数 $\omega$。当存在小于零的特征值时，为了防止不稳定，$\omega$ 必须选择略小于 2 的值，这会相应降低收敛速度。在多重特征值关于零对称分布的极限情况下，最优的 $\omega$ 值为 1，这意味着 SOR 方法没有优势。

设 $\lambda = 1 - \epsilon$，在 SOR($\omega = 2$) 的情况下，有：
$\lambda_{SOR} = 1 - 2 + 2\lambda = 1 - 2\epsilon$
同时，$\tau = -\ln(1 - \epsilon) \approx \epsilon$，$\tau_{SOR} \approx 2\epsilon$

2. 共轭梯度法（CG）

共轭梯度法是求解迭代线性系统最常用的通用方法之一，它在高斯 - 雅可比法和高斯 - 赛德尔法的简单实现与中等性能，以及诸如多重网格法等更复杂方法之间找到了很好的平衡。

2.1 基本原理

共轭梯度法本质上是一种最速下降法，它沿着某个目标函数的梯度下滑以寻找最小值。给定线性系统 $Az = b$，其中 $A$ 是对称正定矩阵，定义目标函数：
$f(z) = \frac{1}{2}z^TAz - b^Tz$
其导数为：
$f’(z) = \frac{