4、最小二乘解与线性系统的病态性及正则化技术

最小二乘解与线性系统的病态性及正则化技术

1. 最小二乘解相关基础

当线性系统 (Ax = b) 不一致时，如果 (A^T A) 是满秩矩阵（即 (A^T A) 非奇异），则该系统有唯一的最小二乘解。若 (\hat{x}) 是不一致线性系统 (Ax = b) 的最小二乘解，那么 (|b - A\hat{x}|_2) 定义为最小二乘误差。

以下是计算最小二乘误差的代码示例：
- MATLAB 代码 ：

LSError = norm(b-A*xh, 2)

• Python 代码 ：

import numpy as np
LSError = np.linalg.norm(b-A@xh, 2)

2. 最小二乘解的应用

2.1 线性模型拟合数据

给定一组数据点 ((x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n))，要找到 (\hat{\alpha}) 和 (\hat{\beta})，使得线性模型 (y = \hat{\alpha} + \hat{\beta}x) 能最好地拟合这些数据。这等价于求解：
(\sum_{j = 1}^{n}(y_j - (\hat{\alpha} + \hat{\beta}x_j))^2 = \min_{\alpha,\beta\in R}{\sum_{j