压缩感知算法原理

1. 本文中使用的符号一览

传统正交变换中：

符号	维度	描述
$x$	$R^{N\times 1}$	原始信号
$y$	$R^{N\times 1}$	压缩后的信号，不稀疏
$\hat{y}$	$R^{N\times 1}$	由$y$中$K$个分量放在对应位置构成，其余位置为0，是$K$-稀疏的

压缩感知算法中：

符号	维度	描述
$x$	$R^{N\times 1}$	原始信号
$y$	$R^{M\times 1}$	压缩感知的观测向量，是$x$的$M$个线性度量
$s$	$R^{N\times 1}$	信号$x$在$\Psi$域的稀疏表示，是$K$-稀疏的
$\Psi$	$C^{N\times N}$	稀疏矩阵，为正交变换矩阵
$\Psi^\mathrm{H}$	$C^{N\times N}$	正交变换矩阵$\Psi$的转置矩阵
$\Phi$	$R^{M\times N}$	称为测量矩阵，有$M\ll N$
$T$	$R^{M\times N}$	$T=\Phi\Psi^\mathrm{H}$，称为传感矩阵
$\delta$	$1\times 1$	一个较小的正的常数

2. 压缩感知算法目的

  压缩感知算法的目的是采集很少一部分数据，并希望从中“解压缩”出大量信息，达到恢复原信号的效果

3. 采集策略

  a. 少量的采集到的数据包含了原信号的全局信息
  b. 存在一种算法能够从这些少量的数据中还原出原先的信息来

4. 传统解决思路——正交变换

4.1 步骤

1. 对于原始信号$x\in R^{N\times 1}$，可以通过正交变换来进行压缩，正变换：$y=\Psi x$，反变换$x=\Psi^\mathrm{H}y$。
   这里$\Psi$是正交矩阵，有$\Psi\Psi^\mathrm{H}=\Psi^\mathrm{H}\Psi=I$，亦即$\Psi^\mathrm{H}=\Psi^\mathrm{-1}$，$\Psi\in C^{N\times N}$，$I$是单位矩阵。
2. 对于$y\in C^{N\times 1}$，能量较$x$集中，本质上去除了$x$中的相关性。因此，我们只保留$K$个较大分量，而把其他$N-K$个置为零，通过反变换，我们能够近乎完美的重建原始信号 ，具有这样性质的信号被称为$K$“稀疏”的。

4.2 编码解码策略

  编码：构造$\Psi$，做正变换$y=\Psi x$，保留$y$中最重要的$K$个分量和其对应位置。
  解码：把$K$个分量放回到对应位置，其他位置填上0，构造$\Psi^\mathrm{H}$，反变换$\hat{x}=\Psi^\mathrm{H} \hat{y}$。

4.3 压缩误差分析

  显然，我们希望$\|x-\hat{x}\|_2=\|y-\hat{y}\|_2\leq \delta$，$\delta$是一个小的常数。
  但更有效的是利用相对误差 $\frac{\|y-\hat{y}\|_2}{\|y\|_2}\leq\delta$。

5. 新的思路——压缩传感

5.1 压缩传感思想：

  对于信号，$x\in R^{N\times 1}$，我们可以找到它的$M$个线性测量（Linear Measurement，意即降维后的信号为$M$维），$y=\Phi x，\Phi\in R^{M\times N}$。

  $\Phi$中的每一行看作一个传感器，它与信号相乘，拾取了信号的一部分信息。拥有了这$M$个测量（即$y$）和$\Phi$，我们就可以近乎完美的重构原始信号了。

  那么已知$y$和$\Phi$如何重构信号？这是一个最优化问题，根据以下式子:

目标函数$min\|s\|_0$，且满足等式约束 $\Phi\Psi^\mathrm{H}s=y$或者可以写成$min\|y-\Phi\Psi^\mathrm{H}s\|_2+\lambda\|s\|_0$

可以求得$s$。
  因为$\Phi\Psi^\mathrm{H}s=\Phi\hat{x}=y$，所以$\hat{x}=\Psi^\mathrm{H}s$，这里就是传统方法正交变换中用$s$恢复$x$的方法，这里的$s$是K-sparse的。

5.2 根据以上分析，可以得出编码解码策略

  编码：针对原始信号$x$构造$\Phi$，生成测量$y=\Phi x$，保留$y$。
  解码：构造同样的$\Phi$，构造任一种正交变换$\Psi^\mathrm{H}$，根据$y$重构$x$。

---

  到这里，我们已经知道通过$y$恢复$x$的大致步骤，那么具体怎样操作呢？有这样三个关键问题：
  (1) 观测矩阵$\Phi$的选择需要满足什么性质？
  (2) 如何最优化本文4.1中 $min\|y-\Phi\Psi^\mathrm{H}s\|_2+\lambda\|s\|_0$ 这个函数以求出$s$呢？
  下文将针对上述两个问题进行分析

---

5.3 观测矩阵$\Phi$需要满足的性质

  1. 随机性。$\Phi$可以是高斯分布的白噪声矩阵，或伯努利分布的$\pm1$矩阵。
  2. 使线性测量有稳定的能量性质，即满足$1-\delta\leq\frac{\|\Phi\Psi^\mathrm{H}s\|_2}{\|s\|_2}\leq1+\delta$，也就是它要保持$K$个重要分量的长度。
  3. 实际运用中，对$\Phi$的维度有要求，$y$的长度一般是重要分量长度的4倍，才能近乎完美重构。即$M\approx4K$或者$M\geq Klog_2(\frac{N}{K})$。

5.4 如何解决4.1中提出的优化问题

  对于$min\|y-\Phi\Psi^\mathrm{H}s\|_2+\lambda\|s\|_0$ 的优化，其中的0-范数优化问题是NP难问题，因此我们必须要换成1-范数进行优化，而1-范数优化是一个凸优化问题。

5.4.1 为什么要将0-范数转换成1-范数而非2-范数进行优化呢？

  我们把问题放到二维空间来看：
  在二维空间里，假设$s$有两个分量$(s_1,s_2)$，则假设$y$为1维向量，也就是一个数。
  假设我们使用2-范数那么根据文章思路，令$T=\Phi\Psi^\mathrm{H}$，则有$y=Ts$。
  那么问题就变成了在满足等式约束$y=Ts$的情况下，求$\|s\|_2$的最小值。
  $y=Ts$是二维空间中的一个超平面，为了简化，在2-D问题中看作一条直线；而$\|s\|_2^2=s_1^2+s_2^2$，即为半径为$\|s\|_2$的圆，要求该圆半径的最小值。直线和圆的关系在二维空间中如图所示：

我们将圆的半径逐渐增大，直到与$y=Ts$相切时，有$\|s\|_2^2$最小，此时圆与直线的交点坐标即为$s$的两个分量值，此时的$s$几乎不可能是稀疏的。
  因此我们考虑$\hat{y}$的1-范数，那么问题变成了在满足$y=Ts$的情况下，求$\|s\|_1$的最小值。$\|s\|_1=|s_1|+|s_2|$，该函数在二维空间中的图如下所示：

我们将菱形边长从原点开始逐渐增大，直到与直线$y=Ts$相切位置，菱形与直线的交点即为$s$的两个分量值，此时有很大可能性该交点在坐标轴上，因此所求$s$很可能是稀疏的。

5.4.2 对于1-范数的优化问题，如何进行求解？——正交匹配追踪法

  对于$y=Ts$,由于$s$是$K$稀疏的，我们要找其$K$个分量，这$K$个分量系数的绝对值应该比其他$N-K$个分量的系数大得多。
  我们先假设$K=1$，此时唯一非零元素$s_q$在$s$中对应的位置在$q$。则$Ts$就是恢复矩阵$T$的第$q$列$T_q$与$s$中的非零元素$s_q$的乘积，即$T_qs_q=y_q$，且$\frac{\|y-y_q\|_2}{\|y\|_2}<\delta$。换句话说，$T$的第$q$列与$y$的相似程度最高，即$|<T_q,y>|=|T_q^\mathrm{H}y|>>|T_r^\mathrm{H}y|=|<T_r,y>|, r\neq q$。所以，我们只要计算恢复矩阵$T$的所有列与$y$的内积，找到内积绝对值最大的那列就行了，该列对应的位置就是$q$。根据最小二乘法，$s_q=(T_q^\mathrm{H}T_q)^{-1}T_q^\mathrm{H}y$，就是使$\|y-T_qs_q\|_2$最小的那个$s_q$。此时余量$r_n=y-\frac{<T_q,y>}{<T_q,T_q>}T_q$，始终同$T_q$正交，很像施密特正交化方法。
  当$K=2$，则$s$有两个非零元素$s_{q1}$和$s_{q2}$，其在$s$中的位置分别为$q1$和$q2$。则$T$的第$q1$和$q2$列与$y$的相似程度最高。我们要找到使$\|y-(T_{q2},T_{q1})\begin{pmatrix} s_{q2}\\ s_{q1} \end{pmatrix}\|_2$最小的那个$\begin{pmatrix} s_{q2}\\ s_{q1} \end{pmatrix}$。这里$T_{q1}$是我们第一次找到的那一列，$T_{q2}$是我们要重新找的那一列。此时我们找到两个在变换域最关键的元素和其在$s$中对应的位置了。令$T_q=(T_{q2},T_{q1})$，余量$r_n$又一次被写为$r_n=y-\frac{<T_q,y>}{<T_q,T_q>}T_q$。
  当$K>1$时，类似上面的步骤，迭代找到变换域中$K$个最重要的分量。正交匹配的迭代次数$m\geq K$，实际上操作只要满足$\frac{\|r_n\|_2}{\|y\|_2}<\delta$，迭代就可以中止了。

主要参考：
1. http://blog.youkuaiyun.com/abcjennifer/article/details/7748833
2. 《“压缩传感”引论》.沙威.香港大学