3、线性系统的迭代法与最小二乘法求解

线性系统的迭代法与最小二乘法求解

1. 迭代法概述

在求解线性系统 (Ax = b) 时，迭代法是一种常用的方法。迭代法的基本思想是生成一个向量序列 (x^{(0)},x^{(1)},x^{(2)},\cdots)，使其收敛到线性系统的解 (x^{ })。当满足 (|x^{(s)} - x^{(s - 1)}| < \varepsilon) 时，迭代停止，其中 (|\cdot|) 是 (R^n) 中的某种范数，(\varepsilon > 0) 是给定的容差，此时用 (x^{(s)}) 近似线性系统的解 (x^{ })，即 (x^{*} \approx x^{(s)})。

迭代法一般分为两类：
- 定常迭代法 ：在第 (k) 次迭代时，仅根据 (x^{(k - 1)}) 计算 (x^{(k)})，不参考之前的历史信息。这类方法包括雅可比（Jacobi）法、高斯 - 赛德尔（Gauss - Seidel）法和松弛法。
- 非定常迭代法 ：在第 (k) 次迭代时，计算 (x^{(k)}) 需要参考整个历史信息 (x^{(0)},x^{(1)},\cdots,x^{(k - 1)})。这类方法包括共轭梯度法和 GMRES 子空间法。

1.1 定常迭代法的一般思路

对于线性系统 (Ax = b)，给定 (\varepsilon > 0) 和初始点 (x^{(0)})，目标是生成收敛到解 (x^{*}) 的向量序列。在定常迭代法中，将矩阵 (A) 表示为两个矩阵 (S) 和 (T) 的和，即 (A = S + T)，其中 (S) 是