深度残差收缩网络 Deep Residual Shrinkage Networks

自从2015年ResNet出现以来，残差模块和类似的思想几乎应用于深度学习的各个领域。当然也出现各种改进的版本，残差收缩网络就是其中一种。

标准的残差模块主要有以下三种，因为这篇论文是在一维的信号数据上做实验，所以没有H的维度，或者说H的维度大小为1。

上图中$(a)$是输入和输出特征图的Width和Channel大小不变的情况；图$(b)$是输出特征的Width大小是输入特征一半的情况；图$(c)$是输出特征的Width是输入特征的一半，Channel是输入特征的两倍。

这些模块堆叠起来，再和其他的卷积和FC等操作层结合，就构成一个基本的分类ResNet网络。

残差收缩网络提出的主要原因是：输入的数据往往包含一些不必要的噪声，这些噪声会影响卷积网络的特征提取和性能结果。噪声在残差网络中特征信息幅值通常比较小，在0的附近，所以在残差收缩网络中提出了一种软阈值化的思想，将特征值在0附近一定范围的值设成0，将大于该范围的值重新收缩到0附近。

软阈值公式如下所示：
f(x)={ x−τx>τ0−τ≤x≤τx+τx<−τ f(x) = \left\{ \begin{array}{lr} x - \tau & x > \tau\\ 0 & -\tau \le x \le \tau\\ x + \tau & x < -\tau \end{array} \right. f(x)=⎩⎨⎧​