深度残差收缩网络的完整PyTorch代码

原创

已于 2024-05-01 20:26:40 修改 · 1.2w 阅读

244 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch #神经网络 #机器学习 #tensorflow

于 2021-04-02 23:24:01 首次发布

这篇文章介绍了深度残差收缩网络的基础理论，如何在PyTorch中实现，以及如何通过RSNet进行故障诊断。它结合了残差网络、注意力机制和软阈值化，适用于噪声数据处理。主要代码来自PyTorch-CIFAR100项目和知乎文章，并提供了不同网络结构的示例如RSNet18和RSNet34。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、基础理论

深度残差收缩网络是建立在三个部分的基础之上的，包括残差网络、注意力机制和软阈值化。
在这里插入图片描述
其功能特色包括：

1）由于软阈值化是信号降噪算法的常用步骤，所以深度残差收缩网络比较适合强噪、高冗余数据。同时，软阈值化的梯度要么为0，要么为1，这与ReLU激活函数是相似/一致的。

在这里插入图片描述

2）由于软阈值化的阈值是通过类似于SENet的注意力机制自适应地进行设置的，深度残差收缩网络能够根据每个样本的情况，为每个样本单独地设置阈值，因此适用于每个样本内噪声含量不同的情况。

3）当数据噪声很弱、没有噪声时，深度残差收缩网络可能也是适用的。其前提是阈值可以被训练成非常接近于0的值，从而软阈值化就相当于不存在了。

4）值得注意的是，软阈值函数的阈值不能太大，否则会导致所有的输出都是0。所以深度残差收缩网络的注意力模块是经过专门设计的，与一般的SENet是存在明显区别的。

该方法的文献来源：

M. Zhao, S. Zhong, X. Fu, B. Tang, M. Pecht, Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, vol. 16, no. 7, pp. 4681-4690, 2020. （https://ieeexplore.ieee.org/document/8850096/）

2、PyTorch代码

本文的PyTorch代码是在这份代码（https://github.com/weiaicunzai/pytorch-cifar100）的基础上修改得到的，所以要下载这份代码到本地。主要是修改了models/resnet.py（https://github.com/weiaicunzai/pytorch-cifar100/blob/master/models/resnet.py）和utils.py（https://github.com/weiaicunzai/pytorch-cifar100/blob/master/utils.py）的代码。

另一方面，残差收缩网络的核心代码，则是来源于知乎上最前线创作的一篇文章《用于故障诊断的残差收缩网络》（https://zhuanlan.zhihu.com/p/337346575）。

具体地，将resnet.py文件的名称，改为了rsnet.py，意思是residual shrinkage network。修改后的rsnet.py代码如下：

import torch
import torch.nn as nn

class BasicBlock(nn.Module):

    expansion = 1
    
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        self.shrinkage = Shrinkage(out_channels, gap_size=(1, 1))
        #residual function
        self.residual_function = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False),
            nn.BatchNorm2d(out_channels),
            nn.ReLU(inplace=True),
            nn.Conv2d(out_channels, out_channels * BasicBlock.expansion, kernel_size=3, padding=1, bias=False)