3、线性系统的迭代与最小二乘法求解

线性系统的迭代与最小二乘法求解

1. 迭代方法概述

在求解线性系统 $Ax = b$ 时，迭代方法是一种常用的手段。其基本思想是生成一个向量序列 $x^{(0)},x^{(1)},x^{(2)},\cdots$，使其收敛到线性系统的解 $x^ $，即 $\lim_{k \to \infty}x^{(k)} = x^ $。当满足 $|x^{(s)} - x^{(s - 1)}| < \varepsilon$（其中 $|\cdot|$ 是 $\mathbb{R}^n$ 中的某种范数，$\varepsilon > 0$ 是给定的容差）时，迭代停止，此时用 $x^{(s)}$ 近似线性系统的解 $x^ $，即 $x^ \approx x^{(s)}$。

迭代方法一般分为两类：
- 平稳迭代方法 ：在第 $k$ 次迭代时，仅根据 $x^{(k - 1)}$ 计算 $x^{(k)}$，不参考之前的历史信息。这类方法包括雅可比（Jacobi）方法、高斯 - 赛德尔（Gauss - Seidel）方法和松弛方法。
- 非平稳迭代方法 ：在第 $k$ 次迭代时，会参考整个历史信息 $x^{(0)},x^{(1)},\cdots,x^{(k - 1)}$ 来计算 $x^{(k)}$。这类方法包括共轭梯度法和 GMRES 子空间方法。

1.1 平稳迭代方法的一般思路

对于线性系统 $Ax = b$，将矩阵 $A$ 表示为两个矩阵 $S$ 和 $T$ 的和，即 $A = S + T$，其中 $S$ 是可逆矩阵。则线性系统可改写为