A Deep Learning Approach for Structural Singal Recovery

A Deep Learning Approach for Structural Singal Recovery

摘要：

    本文中，我们提出了一个压缩感知和结构信息复原的新框架。与使用线性测量（linear measurement 线性测量的意思可能就是压缩感知的乘以一个矩阵的过程），稀疏表示、计算复杂的凸优化/贪心算法（computationally complex convex/greedy algorithms）的压缩感知系统相比，我们提出了一个支持线性和温和非线性测量的 深度学习框架，能够从训练数据中学习一个结构化的表示，就可以有效的计算出一个估计信号。事实上，我们应用了一个堆叠的去噪自编码器（SDA），作为一个无监督的特征学习器。SDA使得我们能够抓取到某些信号不同元素之间的统计依赖性并且相比于压缩感知方法，能够提高信号复原表现。

1.介绍：

    想要从低采样率的信号y中复原出原信号x，是一个ill-posed问题。唯一的办法是信号x有某种 结构特征。这样它的维度减少后仍然可以无损的复原出信息；

    而这种方法的典型应用就是压缩感知，压缩感知依赖的就是稀疏性，它把这种问题变成了一个 求稀疏解的问题。

    我们首先提出3个问题：

1. 怎么从测量值y和测量矩阵中去恢复原信号？
2. 怎么设计测量矩阵？(测量矩阵得要求这个矩阵能够在降采样的同时保留有用的信息)
3. 如果我们要用到某种结构，我们怎么表示那个信号有这种结构？

    在compressive sensing中，三个答案分别是：

1. 用凸优化和迭代贪心算法去求稀疏解。（凸优化下，局部最优就是全局最优，可以通过梯度下降法、牛顿法去求解）
2. 用线性随机矩阵作为测量矩阵。
3. 使用预先定义的变换等，比如小波变换、字典等。

    在本文中，三个答案是：

1. 用神经网络替代传统的优化方法。
2. 要求这个测量矩阵具有约束等距性（RIP）。而随机矩阵独立同分布（IID）的特性似乎与此相关。可用高斯或者伯努利随机变量等。也可从前面的测量结果得到自适应的测量矩阵，但非常耗时。本文测量矩阵也能用神经网络代替。
3. 以前是在小波变换或者DCT变换下找到一组基，这些基由于人工选择，存在不能自适应的缺点。为了在各种真实信号中找到统计独立性的基。本文也用了学习的方法学到更好的基。

    本文在用深度学习从欠采样信号中复原结构信号是第一篇。但是denoising\SR等课题也与本文由相似之处。

2.堆叠去噪自编码器用来复原结构信息
STACKED DENOISING AUTOENCODERS FOR STRUCTURED SIGNAL RECOVERY

A. SDA + Linear Measurement Paradigm

B:SDA + Nonlinear Measurement Paradigm

与A唯一的区别是测量矩阵本身是网络的一层了

3.SDA和压缩感知之间的概率关系PROBABILISTIC RELATION BETWEEN SDA AND COMPRESSIVE SENSING

（略）

4.仿真结果 SIMULATION RESULTS

    本文对图片进行了一个测试，它采取的策略为：把大图片切成互相重叠的小图片，对小图片做压缩与重建，可以避免计算量大。

    训练和测试图片大小：32*32。测试时对重叠区域去平均，可以提升评价指标和避免块效应。

    数据集：Imagenet，截取中间的256*256的区域做数据集。

测量矩阵得要求这个矩阵能够在降维的同时保留有用的信息（怎么这么像PCA）

    模型预训练：由于用的网络本身是去噪的，所以先用去噪训练参数初始化模型，再用来训练感知和复原。

    

备注：denoising-based approximate message passing (DAMP)  state of the art

5.总结与后续展望

    SDA可以抓取到不同图像的统计独立信息，从而更好的复原图像的结构信息。

    后续一个重点是怎么拓展到大图片上