5、最小二乘法及其相关内容

最小二乘法及其相关内容

1. 线性模型概述

线性模型在信号处理和数据分析中具有重要地位，其标准形式为 $y = Hx + n$，其中 $y \in C^L$ 是测量值，$H \in C^{L\times p}$ 是通道矩阵，$x \in C^p$ 是待估计的信号或参数，$n \in C^L$ 是误差项。该模型有多种解释：
- 信号传输角度 ：$y$ 可看作接收阵列中 $L$ 个传感器记录的复测量值，$x$ 可看作 $p$ 个源或发射阵列中 $p$ 个传感器的复传输值，$H$ 则是将 $x$ 的元素传递到 $y$ 的元素的通道矩阵。
- 系统输入输出角度 ：$x$ 是多输入多输出（MIMO）系统的输入，$H$ 是系统的滤波器，$y$ 是输出。
- 模式激发角度 ：$H$ 的列是模式或字典元素，由初始条件或模式参数 $x$ 激发以产生响应 $y$。

根据 $L$ 和 $p$ 的大小关系，线性模型可分为以下三种情况：
|情况|条件|说明|
| ---- | ---- | ---- |
|过定|$L > p$|测量值数量多于参数数量|
|确定|$L = p$|测量值数量与参数数量相等|
|欠定|$L < p$|测量值数量少于参数数量，存在无穷多个解能重现测量值 $y$，需对 $x$ 施加约束来获取优选解|

1.1 模型的不同表示与解释

通道矩阵 $H$ 可以有两种不同的表示方式：
$H = \begin{bmatrix} h_1 & h_2 &