8、欠定最小二乘及相关问题与多维尺度分析

欠定最小二乘及相关问题与多维尺度分析

1. 稀疏解

在线性模型中，若参数向量 $\boldsymbol{x}$ 在某个酉基下是稀疏的，那么可利用这一条件来求解在此基下稀疏或近似稀疏的 $\boldsymbol{x}$。在某些情况下，酉基为欧几里得基，即 $\boldsymbol{x}$ 本身是稀疏的，这在检测图像的后处理等问题中是很有效的思路。不过，对于雷达、声纳、地球物理学和光学等辐射信号成像问题，很难事先知道参数在哪个酉基下是稀疏的。例如，辐射波并非从量化电角度到达，宽带信号在谐波线上没有线状谱，信号的多径副本也并非以量化延迟到达。所以，基于这些假设的线性模型会与实际线性模型不匹配，即不匹配模型中的参数不是稀疏的，在某些情况下甚至不可压缩。

1.1 约束稀疏的最小二乘问题

约束 $\boldsymbol{x}$ 为 $K$ 稀疏（即其支撑集大小不大于 $K$）的最小二乘问题可转化为以下优化问题：
[
\begin{align }
\min_{\boldsymbol{x}} &\quad |\boldsymbol{y} - \boldsymbol{H}\boldsymbol{x}|_2^2\
\text{s.t.} &\quad |\boldsymbol{x}|_0 \leq K
\end{align }
]
其中，$|\boldsymbol{x}|_0 = \dim({k | x_k \neq 0})$ 是 $\boldsymbol{x}$ 的 $\ell_0$ 范数，也可写为 $|\boldsymbol{x}|_0 = \sum u(|x_k|)$，这里 $u(a