优化问题和软硬阈值函数的关系

优化问题的特别求解思路

下面用$x$表示向量，$x_i$表示向量中的元素。

范数的计算

$L_p$范数：$\Vert x{\Vert }_p=({\sum }_i|x_i{|}^p{)}^{\frac{1}{p}}$

由此可见，求范数最小的问题其实可以分解为若干个相互独立的元素级别的子问题。

阈值函数

阈值函数是在元素级别(elementwise)上做操作的算子

硬阈值(hard thresholding)函数

$x={\mathcal{T}}_{\rho }(y)$

等价于：
$x_i=y_i$, if $|y_i|>\rho$
$x_i=0$, otherwise.

软阈值(soft thresholding)函数

$x={\mathcal{S}}_{\rho }(y)$

等价于：
$x_i=y_i-\mathrm{sign}(y_i)\cdot \rho$, if $|y_i|>\rho$
$x_i=0$, otherwise.

L2范数 + L0范数

$\underset{x}{\mathrm{argmin}}\frac{1}{2}\Vert y-x{\Vert }_2^2+\rho \Vert x{\Vert }_0$

求解：
按元素独立求解即可，即子优化问题为：$\underset{x_i}{\mathrm{argmin}}(y_i-x_i{)}^2+\rho x_i^0$.
前置知识：非零数的零次方=1，0的零次方=0.
这个时候，我们不用求导的思路来解。考虑到$(y_i-x_i{)}^2$的最小值在$x_i=y_i$处取得，$\rho x_i^0$的最小值在$x_i=0$时取得。我们只需要比较这两个极值点对应的函数值的大小即可。

$f(x_i=y_i)=\rho y_i^0$
$f(x_i=0)=(y_i{)}^2$

当$y_i=0$时，二者最小值均为0
当$y_i\ne 0$时，$f(x_i=y_i)=\rho$，
当极小值点为0时，有$f(x_i=y_i)>f(x_i=0)$，解得$|y_i|<\sqrt{\rho }$
其他情况极值点取$y_i$

即
$x_i=0$, if $|y_i|<\sqrt{\rho }$
$x_i=y_i$, otherwise.

所以，综上，$x={\mathcal{T}}_{\sqrt{\rho }}(y)$

L2范数 + L1范数

优化问题：$\underset{x}{\mathrm{argmin}}\frac{1}{2}\Vert y-x{\Vert }_2^2+\rho \Vert x{\Vert }_1$

求解：
按元素独立求解即可，即子优化问题为：$\underset{x_i}{\mathrm{argmin}}\frac{1}{2}(y_i-x_i{)}^2+\rho |x_i|$.
分类讨论：
if $x_i>0$,
$f(x_i)=\frac{1}{2}(y_i-x_i{)}^2+\rho x_i$
令$\frac{\partial f(x_i)}{\partial x_i}=-(y_i-x_i)+\rho =0$，解得$x_i=-\rho +y_i$.
所以$x_i=\max (0,-\rho +y_i)$.

if $x_i\le 0$,
$f(x_i)=\frac{1}{2}(y_i-x_i{)}^2-\rho x_i$
令$\frac{\partial f(x_i)}{\partial x_i}=-(y_i-x_i)-\rho =0$，解得$x_i=\rho +y_i$.
所以$x_i=\min (0,\rho +y_i)=-\max (0,-\rho -y_i)$.

所以，综上，$x=\mathrm{sign}(y)\odot \max (0,|y_i|-\rho )={\mathcal{S}}_{\rho }(y)$