图像处理能量泛函优化——L1范数正则化项，软阈值公式

接上篇更新的L2范数求解的问题，接着讲L1范数更新的问题
L1范数正则化项又称为拉布拉斯先验。带有L1正则化项的问题是图问题，求解相对简单，具有闭式解。其求解就是著名的软阈值公式。

问题

$\text{ x }=\arg \underset{\text{x}}{\min }\frac{\rho }{2}{\Vert \text{x}-\text{b}\Vert }_2^2+\lambda {\Vert \text{x}\Vert }_1$

其中，$\text{ x }$，$\text{ b}$均为向量。

推倒与求解

原问题是对向量进行求解，难以解决。但是如果$\text{ x }$，$\text{ b}$都是标量，那么问题就简单了。

1. 问题分解

问题分解
在图像处理中，我们通常将向量$\text{ x }$，$\text{ b}$的元素都看成独立的，则原问题的求解可以转换为对单个元素的求解，抽取原问题中的一个元素进行求解，则问题转换为

$x=\arg \underset{x}{\min }\frac{\rho }{2}{\left(x-b\right)}^2+\lambda \left|x\right|$

其中，$x$,$b$（没有加粗），表示标量，为向量$\text{ x }$，$\text{ b}$中的第i个元素，省略下表i。
2. 分解问题求解

分解的问题就是一个一元二次问题求解最小值，由于图像处理中，存在某些先验知识，一般$\rho ,\lambda$都为非负数。将上述问题重写为

$x=\arg \underset{x}{\min }\frac{\rho }{2}{\left(x-b\right)}^2+\lambda \left|x\right|，s.t.\rho \ge 0,\lambda \ge 0$

求解这个问题初中知识就够了。下面简单的给出结论
当$x\ge 0$:

$x=\{\begin{array}{cc}b-\frac{\lambda }{\rho }& b-\frac{\lambda }{\rho }>0\\ 0& b-\frac{\lambda }{\rho }\le 0\end{array}$

当$x\le 0$:

$x=\{\begin{array}{cc}0& b+\frac{\lambda }{\rho }>0\\ b+\frac{\lambda }{\rho }& b+\frac{\lambda }{\rho }\le 0\end{array}$

求解还是简单的，但是使用分段函数的形式写出来太不美观，如何写成一个式子，当初还是难到了我，读者可以自己想想，我是没有想出来，师兄教的

$x=\mathrm{sign}(b)\max \left(|b|-\frac{\lambda }{\rho },0\right)$

这样写的目的当然不只是为了好看，更是为了编写代码。MATLAB不几行就搞定了。
3. 原问题求解
分解的每隔问题求解了，其实原问题就解出来了，但是我们通常看到的求解这种问题，可不是一个一个子问题这样写出来，下面给出常见的求解形式。

$x=shrin{k}_{\frac{\lambda }{\rho }}\left(b\right)$

注意这里的元素依然是标量。$shrink$称为软阈值算子。其含义为
$S_k(a)=\{\begin{array}{c}a-ka>k\\ 0a\le k\\ a+ka<-k\end{array}$

软阈值公式，我们也叫作软阈值收缩公式，只是因为他求解的过程可以看出收缩的过程。就以上式为例，当a较大的时候，就在$a$的基础上减去$k$。 反之，如果$a$是负值，$a$越小，就在$a$的基础上加上$k$，一直在像0值附近收缩。简单的公式还是特别有意思的，这种求解的思路也是特别受用，在很多其他类似的问题上，例如硬阈值、TV正则化项等都可以使用这种思路求解。

MATLAB实现

matlab实现的代码特别简单。

% define the soft threshold function, which is used above.
function y = soft(x,tau)

y = sign(x).*max(abs(x)-tau,0);