6、线性系统解的正则化与非线性方程求解方法

线性系统解的正则化与非线性方程求解方法

1. 线性系统解的正则化

在处理病态问题的线性系统 (Fx = y)（其中 (F \in R^{m×n})，(x \in R^{n})，(y \in R^{m})）时，正则化是一种重要的稳定解的方法。正则化通过引入一族近似逆算子 ({\Gamma_{\alpha} : R^{n} \to R^{m} : \Gamma_{\alpha} \approx F^{-1}, \alpha \in (0, \infty)}) 来实现，使得对于满足 (|y_{\epsilon} - y| \leq \epsilon) 的每个 (y_{\epsilon})，存在 (\alpha \in (0, \infty)) 使得 (x_{\alpha} = \Gamma_{\alpha}y_{\epsilon}) 在 (\epsilon \to 0) 时趋近于 (x)。常见的正则化技术包括截断奇异值分解（TSVD）方法、Tikhonov 正则化方法、L - 曲线方法和 Morozov 偏差原则。

1.1 截断奇异值分解（TSVD）方法

对于线性系统 (Fx = b)（(F \in R^{n×n})，(x \in R^{n})，(y \in R^{n})），假设 (U)、(\Sigma) 和 (V) 是矩阵 (F) 的奇异值分解因子，即 (F = U\Sigma V^{T})，那么 (F^{-1} = V\Sigma^{-1}U^{T})，线性系统的唯一解为 (x = V\Sigma^{-1}U^{T}b = \sum_{j = 1}^{n} \frac{u_{j}^{T}b}{\sigma_{j}}v_{j})，其中 (u_{j}) 和 (v_{j}) 分别是