4、最小二乘解与线性系统的病态性及处理

最小二乘解与线性系统的病态性及处理

1. 最小二乘解基础

在处理不一致线性系统 $Ax = b$ 时，有一些重要的结论。若 $A^T A$ 是满秩矩阵（即非奇异矩阵），则该不一致线性系统有唯一的最小二乘解。当 $\hat{x}$ 是不一致线性系统 $Ax = b$ 的最小二乘解时，$|b - A\hat{x}|_2$ 定义为最小二乘误差。

以下是计算最小二乘误差的示例代码：
- MATLAB 代码 ：

LSError = norm(b - A * xh, 2);

• Python 代码 ：

import numpy as np
LSError = np.linalg.norm(b - A @ xh, 2)

2. 最小二乘解的应用

2.1 线性模型拟合数据

给定一组数据点 $(x_1, y_1), (x_2, y_2), \cdots, (x_n, y_n)$，目标是找到 $\hat{\alpha}$ 和 $\hat{\beta}$，使得线性模型 $y = \hat{\alpha} + \hat{\beta}x$ 能最好地拟合这些数据。这等价于最小化以下式子：
$\sum_{j = 1}^{n} (y_j - (\hat{\alpha} + \hat{\beta}x_j))^2 = \min_{\al