16、矩阵分解、特征值与特征向量的深入探究

矩阵分解、特征值与特征向量的深入探究

1. QR 分解

1.1 最小二乘法求解

在求解线性方程组时，QR 分解是一种重要的方法。假设我们有如下方程：
已知 (Q) 和 (Q^Tb) 的值，需要求解最小二乘问题 (Rx = Q^Tb)，例如：
(5x_1 - 5x_2 = -5)
(5x_2 = 1)
其最小二乘解为 (x_2 = \frac{1}{5})，(x_1 = \frac{2}{5})。并且对于该解 (x)，(|Ax - b|_2 = \frac{1}{2})，因为最后一个方程无法进一步处理。

1.2 Givens 矩阵在 QR 分解中的应用

在进行 QR 分解时，除了常规方法，还可以使用 Givens 矩阵。其基本思想会在后续练习中详细探讨。

1.3 QR 算法

QR 算法常用于计算实 Schur 形式的 (Q) 和 (T)，它在特征值和特征向量的计算中与高斯消元法在线性方程组求解中的地位相当。算法步骤如下：
1. 令 (A_1 = A)。
2. 迭代分解 (A_k = Q_kR_k)。
3. 令 (A_{k + 1} = R_kQ_k)。

在合理条件下，(A_1, A_2, \cdots) 会收敛。由于 (A_{k + 1} = Q_k^TAQ_k)，所以 (A_{k + 1}) 与 (A) 正交相似。当 (k) 足够大时，(A_{k + 1}) 接近分块三角矩阵，将 (A_{k + 1}) 中块下方足够接近 0 的元素置为 0，即可得到 (A) 的计算 Schur 形式 (T)。

1.