25、最小二乘法：原理、应用与实现

最小二乘法：原理、应用与实现

1. 引言

在解决线性问题时，基于最小化均方准则的一系列技术发挥着重要作用。而投影定理作为其中的基础定理，无论是在确定性信号还是随机信号的处理中，都有着广泛的应用。同时，最小二乘法作为一种经典的参数估计方法，由高斯提出并用于研究行星运动，在众多领域都有着不可替代的地位。

2. 投影定理

2.1 希尔伯特空间的定义

希尔伯特空间是理解投影定理的基础。设 $\mathcal{H}$ 是一个向量空间，对于任意两个元素 $x$ 和 $y$ 有内积 $(x, y)$，满足以下条件：
- 元素 $x$ 的范数 $|x| = \sqrt{(x, x)}$，是一个正数。
- 若 $(x, y) = 0$，则称 $x$ 和 $y$ 正交，记为 $x \perp y$。
- 两个元素 $x$ 和 $y$ 之间的距离 $d(x, y) = |x - y| = \sqrt{(x - y, x - y)}$，也是正数。

若 $\mathcal{H}$ 是一个完备的度量空间，即任何柯西序列都在 $\mathcal{H}$ 中收敛，则称 $\mathcal{H}$ 为希尔伯特空间。以下是信号处理中常见的希尔伯特空间示例：
| 情况 | 空间 | 内积定义 |
| ---- | ---- | ---- |
| 确定性情况 | $\ell^2(\mathbb{Z})$：平方可和的复序列空间，即 $\sum_{k} |x_k|^2 < +\infty$ 的序列 | $(x, y) = \sum_{k} x_k y_k$ |
| 确定性情况 | $L^2(0, T)