4、线性代数中的向量空间与线性独立性

线性代数中的向量空间与线性独立性

1. 线性方程组求解方法

在求解线性方程组 $Ax = b$ 时，一种方法是使用 Moore - Penrose 伪逆 $(A^⊤A)^{-1}A^⊤$ 来确定最小范数最小二乘解。不过，这种方法存在一些缺点，它需要进行大量的矩阵 - 矩阵乘法运算，并且要计算 $A^⊤A$ 的逆矩阵。而且，出于数值精度的考虑，通常不建议直接计算逆矩阵或伪逆矩阵。

除了上述方法，还有其他求解线性方程组的途径：
- 高斯消元法 ：在计算行列式、判断向量组是否线性独立、计算矩阵的逆、计算矩阵的秩以及确定向量空间的基等方面都发挥着重要作用。它是求解包含数千个变量的线性方程组的直观且有效的方法。但对于包含数百万个变量的方程组，由于所需的算术运算次数与联立方程的数量呈三次方关系，这种方法就不太实用了。
- 迭代法 ：对于大规模线性方程组，通常采用间接求解的方式，主要有两类迭代方法：
- 静态迭代方法 ：如 Richardson 方法、Jacobi 方法、Gauß - Seidel 方法和逐次超松弛方法。
- Krylov 子空间方法 ：例如共轭梯度法、广义最小残差法或双共轭梯度法。

迭代法的关键思想是建立形如 $x^{(k + 1)} = Cx^{(k)} + d$ 的迭代式，其中 $C$ 和 $d$ 的选取要使得每次迭代都能减小残差误差 $|x^{(k + 1)} - x^ |$，并最终收敛到方程的解 $x^ $。

2. 向量空间的基础概念