11、压缩感知：理论、实例与几何特性解析

压缩感知：理论、实例与几何特性解析

1. 自然图像的稀疏性与可压缩性

在广阔的图像（像素）空间中，自然图像仅占据极小的一部分。随机生成的图像看起来像噪声，没有明显的意义。例如，我们可能花费一生去绘制随机图像，也难以找到一张山脉、人物或其他可识别物体的图像。这表明自然图像在图像空间中极为罕见。由于大量图像是无结构或随机的，用于编码图像的大部分维度仅对这些随机图像是必要的。如果我们只关注自然图像的编码，这些维度就是冗余的。因此，如果能找到一个合适的变换基，使冗余维度易于识别，那么我们所关心的自然图像就具有很高的可压缩性。

2. 压缩感知的基本原理

传统的数据压缩依赖于获取完整的高维测量数据，然后进行压缩并丢弃大部分信息。而压缩感知则颠覆了这一范式，它可以通过收集极少的压缩或随机测量值，然后推断信号在变换基中的稀疏表示。

从数学角度来看，如果信号 $x$ 在基 $\varPhi$ 中是 $K$ 稀疏的（即只有 $K$ 个非零系数），那么可以通过收集远少于直接测量 $x$ 所需的随机选择或压缩测量值 $y$ 来实现信号的重建。测量值 $y \in R^p$（其中 $K < p \ll n$）由 $y = Cx$ 给出，其中测量矩阵 $C \in R^{p\times n}$ 表示对状态 $x$ 的一组 $p$ 个线性测量。

压缩感知的目标是找到与测量值 $y$ 一致的最稀疏向量 $s$，即求解 $y = C\varPhi s = \varTheta s$。由于该方程组是欠定的，存在无穷多个解。最稀疏解 $\hat{s}$ 满足优化问题：
$\hat{s} = \arg\min_{s} |s|_0$，约束条件为 $y = C\va