1、稀疏和冗余表示：从理论到信号与图像处理应用

稀疏和冗余表示：从理论到信号与图像处理应用

1. 引言

在科学研究中，奥卡姆剃刀原理“如无必要，勿增实体”一直指导着科学家选择物理定律和理论。如今，稀疏表示领域迅速发展，它明确处理描述的简洁性与所用“语言”或“字典”之间的相互作用，已成为一个极具吸引力的研究领域，不仅产生了许多数学上优美、深刻的结果，还在实际工程应用中得到了广泛应用。

2. 稀疏表示的核心问题

2.1 线性方程组与稀疏解

核心问题围绕一个简单的线性方程组展开。一个满秩矩阵 (A \in \mathbb{R}^{n\times m})（其中 (n < m)）会生成一个欠定线性方程组 (Ax = b)，该方程组有无数解。我们的目标是找到其最稀疏的解，即非零元素最少的解。这引发了一系列问题：这样的解是否唯一？如果是，在什么条件下？如何在合理的时间内找到这样的解？

2.2 发展历程

• 1993年 ：Stephane Mallat和Zhifeng Zhang引入了字典的概念，取代了传统的临界采样小波变换，提出了一些核心思想，如贪婪追踪技术和通过相干性度量来表征字典。
• 1995年 ：Scott Shaobing Chen、David Donoho和Michael Saunders引入了使用 (\ell_1) 范数评估稀疏性的追踪技术，表明寻找最稀疏解可以作为凸规划任务来处理。
• 2001年 ：Donoho和Huo定义并部分回答了“能否保证追踪技术的成功？在什么条件下？”这一关键问