压缩感知
- 背景:现代信号处理的一个关键基础是 Shannon 采样理论:一个信号可以无失真重建所要求的离散样本数由其带宽决定。但是Shannon 采样定理是一个信号重建的充分非必要条件。也就是信号的压缩和重构的准确率并不是一定依赖与带宽所决定的。
- 定义: 压缩感知理论的核心思想主要包括两点。第一个是信号的稀疏结构。传统的Shannon 信号表示方法只开发利用了最少的被采样信号的先验信息,即信号的带宽。但是,现实生活中很多广受关注的信号本身具有一些结构特点。相对于带宽信息的自由度,这些结构特点是由信号的更小的一部分自由度所决定。换句话说,在很少的信息损失情况下,这种信号可以用很少的数字编码表示。所以,在这种意义上,这种信号是稀疏信号(或者近似稀疏信号、可压缩信号)。另外一点是不相关特性。稀疏信号的有用信息的获取可以通过一个非自适应的采样方法将信号压缩成较小的样本数据来完成。理论证明压缩感知的采样方法只是一个简单的将信号与一组确定的波形进行相关的操作。这些波形要求是与信号所在的稀疏空间不相关的。
- Motivation: 现阶段无监督神经网络生成模型已经成功的应用到低维度的隐含变量来对数据分布进行建模上,生成对抗网络可以通过替代通常的稀疏限制(sparsity constraint)来被用到压缩感知的任务中,
- defientation: y = Ax + ζ , y表示重构后信号, x∈Rnx \in R^{n}x∈Rn 代表重构前信号, ζ ∈Rm\in R^{m}∈Rm 代表噪声.A∈RM×NA \in R^{M \times N}A∈RM×N是感知矩阵。
- solution by Generative Model: minx^,z∥Ax^−y∥2,s.t.x^=G(z)min_{\hat{x},z} \parallel A\hat{x}-y \parallel^{2}, s.t. \hat{x}=G(z)minx^,z∥Ax^−y∥2,s.t.x^=G(z)