Sparse Coding综述

SC的提出

ISTA

\qquad 一种用于信号处理SC的经典方法是将其分解为许多atoms 的线性组合，稀疏编码的经典目标函数如下：
$$min\parallel z{\parallel }_0,s.t.x=Dz\text{\hspace{1em}(1)}$$

其中$z\in {\mathbb{R}}^m$是原信号$x\in {\mathbb{R}}^n$对于$D\in {\mathbb{R}}^{n\times m}$的稀疏编码(或叫做稀疏表示)

\qquad 然而，直接求解上式是一个组合问题，其复杂度随着$m$呈指数增长。通常用$l_1$正则来代替$l_0$
$$\underset{D,z}{\mathrm{argmin}}\frac{1}{2}\parallel x-Dz{\parallel }_2^2+\lambda \parallel z{\parallel }_1\text{\hspace{1em}(2)}$$

\qquad 最早优化上式的方法是 ISTA 迭代法：

$$z_{k+1}=S_{\lambda /L}(z_k+\frac{1}{L}{D}^T(x-D{z}_k))\text{\hspace{1em}(3)}$$
其中$L\le {\sigma }_{max}(D^{T}D)$, ${\sigma }_{max}(A)$是A的最大特征值，$S_{\theta }(x)$是 soft thresholding operator(软阈值函数)：
$$S_{\theta }(x)=sign(x)max(|x|-\theta ,0)\text{\hspace{1em}(4)}$$
当满足定义的收敛准则时停止 ISTA 迭代

Learned ISTA

\qquad 在近似SC方面，可以建立非线编码器，该编码器可以被训练以产生给定信号的快速近似SC。

将 ISTA 迭代公式变换如下

$$z_{k+1}=S_{\lambda /L}((I-\frac{1}{L}{D}^{T}D)z_k+\frac{1}{L}{D}^{T}x)\text{\hspace{1em}(5)}$$

化简
$$\begin{gathered} z_0=0,k=0,\dots ,K-1 \\ {z}_{k+1}=S_{\theta }(S{z}_k+W_{e}X)\text{\hspace{1em}(6)} \end{gathered}$$

用网络结构来表示

Convolutional Sparse Coding

\qquad 与传统SC不同的是，CSC采用了卷积操作来代替矩阵相乘操作，用公式表示如下：
$$x=\sum _{i=0}^{m-1}{d}_i\ast z_i\text{\hspace{1em}(7)}$$
其中， $x\in {\mathbb{R}}^{n_1\times n_2}$是 输入的信号， $d_i\in {\mathbb{R}}^{k\times k}$ 是局部的卷积核， $z_i\in {\mathbb{R}}^{n_1\times n_2}$ 是对应于 $d_i$ 的稀疏特征图.

则CSC的 $l_1$ 最小化问题可以描述为：

$$\underset{d,z}{\mathrm{argmin}}\frac{1}{2}\parallel x-\sum _{i=0}^{m-1}{d}_i\ast z_i{\parallel }_2^2+\lambda \sum _{i=0}^{m-1}\parallel z_i{\parallel }_1\text{\hspace{1em}(8)}$$

\qquad 值得注意的是，与传统的SC不同，输入x不再需要被分割成patches， CSC输入的是一个整体。CSC模型本质上是空间不变的，所以，我们学习出来特定边缘方向的atom可以代表整体图像的边缘方向。

\qquad 一个解决上式的方法是变换到频域，用Alternating Direction Method of Multipliers(ADMM) 进行优化

Learned Convolutional Sparse Coding

对CSC的近似学习

\qquad 由于卷积的线性性质，而且字典$D_{conv}\in {\mathbb{R}}^{(n_1{n}_2)\times (n_1{n}_{2}m)}$ 是Toepltiz矩阵的串联，所以CSC可以被看作传统SC的一种特殊情况。因此, (8)中的目标可以通过将$D$替换为$D_{conv}$来格式化为类似 (2)
\qquad 在这里不是直接在 $D_{conv}$ 上用标准的 LISTA ，而是重新构造 ISTA 的卷积形式，然后提出其 LISTA 版本。
\qquad CSC的ISTA迭代可以写成下面形式：
$$z_{k+1}=S_{\lambda /L}(z_k+\frac{1}{L}d\star (x-d\ast z_k))\text{\hspace{1em}(9)}$$
其中，$d\in {\mathbb{R}}^{s\times s\times m}$是一个含有 m个 $s\times s$卷积核的矩阵，$d\star x=[flip(d_0)\ast x,\dots ,flip(d_{m-1})\ast x]$, 以及$d\ast z={\sum }_{i=0}^{m-1}{d}_i\ast z_i$.操作$flip(d_i)$是将输入$d_i$的两个维度顺序颠倒过来.
\qquad 将（9）用相似的方法变成（6）得到 convolutional LISTA结构：
$$z_{k+1}=S_{\theta }(z_k+W_e\ast (x-W_d\ast z_k))\text{\hspace{1em}(10)}$$
其中，$W_e\in {\mathbb{R}}^{s\times s\times c\times m},W_d\in {\mathbb{R}}^{s\times s\times m\times c}$，即 $W_d=d,W_e=flip(W_d)$以及 $\theta \in {\mathbb{R}}_{+}^m$是完全可训练的独立变量，注意到这里加上了多通道 c

学习Convolutional Dictionary(CD)

\qquad 我们通过approximate CSC (ACSC)希望产生一个 $\hat{x}$ ，尽可能地接近 $x$ .所以在 convolutional ISTA的末尾，加上了一个由 $d$组成的线性编码器
$$\begin{array}{rl}{z}_0=& 0,k=0,\dots ,K-1\\ z_{k+1}=& S_{\theta }(z_k+W_e\ast (x-W_d\ast z_k))\\ z_{ACSC}=& z_K,\hat{x}=d\ast z_{ACSC}\end{array}$$