10种涨点即插即用模块 特征处理合集篇（一）！！！(附原文地址+论文+代码)

---

1、(ECCV 2018) ASPP 空间金字塔池化模块

原文地址：(即插即用模块-特征处理部分) 一、(ECCV 2018) ASPP 空间金字塔池化

paper：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

Code：https://github.com/tensorflow/models/tree/master/research/deeplab

ASPP 的主要原理是基于以下几点：多尺度信息的重要性： 不同的物体尺度需要不同大小的感受野来捕捉特征。池化操作的局限性： 传统的池化操作（如最大池化）会丢失图像的空间信息，导致无法有效地捕捉多尺度特征。而 ASPP 则通过并行地使用不同膨胀率的空洞卷积，可以在不改变特征图分辨率的情况下，有效地获取不同尺度的上下文信息。

ASPP 结构图：

2、(CVPR 2020) Strip Pooling 条状池化模块

原文地址：(即插即用模块-特征处理部分) 二、(CVPR 2020) Strip Pooling 条状池化模块

paper：Strip Pooling: Rethinking Spatial Pooling for Scene Parsing

Code：https://github.com/Andrew-Qibin/SPNet

Strip Pooling 的原理主要基于以下两点优势：

• 长距离关系捕捉: Strip Pooling 沿一个空间维度使用长核形状，可以有效地捕捉孤立区域之间的长距离关系。
• 局部细节保留: Strip Pooling 沿另一个空间维度保持窄核形状，这有助于捕捉局部上下文信息，并防止无关区域干扰标签预测。

通过结合长距离关系捕捉和局部细节保留，Strip Pooling 可以同时聚合全局和局部上下文信息，从而更有效地进行场景解析。

Strip Pooling 结构图：

3、(CVPR 2022) ACmix 注意力卷积混合模块

原文地址：(即插即用模块-特征处理部分) 三、(CVPR 2022) ACmix 注意力卷积混合模块

paper：On the Integration of Self-Attention and Convolution

Code：https://github.com/LeapLabTHU/ACmix

ACmix 的核心原理：ACmix 通过将输入特征图投影到更深的特征空间，然后使用不同的聚合操作分别处理这些中间特征。具体来说，自注意力路径使用多头自注意力机制，将特征图分为 N 组，每组包含三个特征图，分别作为Q、K和V。而卷积路径使用全连接层生成 k^2 个特征图，并通过移位和求和操作进行卷积处理。

ACmix 结构图：

4、(2023) DynamicFilter 动态滤波器

原文地址：(即插即用模块-特征处理部分) 四、(2023) Dynamic Filter 动态滤波器

paper：FFT-based Dynamic Token Mixer for Vision

Code：https://github.com/okojoalg/dfformer

动态滤波器与传统的全局滤波器不同，动态滤波器是通过一个神经网络（MLP）动态地生成每个特征通道对的滤波器。这使得滤波器可以根据输入内容进行调整，从而提高模型的性能。核心思想包含以下两点：

• 频域操作： 动态滤波器在频域进行操作，利用快速傅里叶变换（FFT）将特征图转换为频域，然后应用滤波器，最后通过逆FFT将结果转换回空间域。
• 参数化： 动态滤波器使用一组预定义的滤波器基，并通过MLP学习每个滤波器基的权重，从而生成最终的滤波器。

DynamicFilter 结构图：

5、(ICCV 2023) DynamicUpsampling 动态上采样

原文地址：(即插即用模块-特征处理部分) 五、(ICCV 2023) Dynamic Upsampling 动态上采样

paper：Learning to Upsample by Learning to Sample

Code：https://github.com/tiny-smart/dysample

在这篇论文中，DySample 将上采样过程视为点采样，从而绕过了基于核的范式。其核心思想是将输入特征插值到连续的空间，并生成内容感知的采样点来重新采样连续图。

DynamicUpsampling 结构图：

6、(2023) WaveletDownsample 小波下采样

原文地址：(即插即用模块-特征处理部分) 六、(2023) Wavelet DownSample 哈尔小波下采样

paper：Haar wavelet downsampling: A simple but effective downsampling module for semantic segmentation

Code：https://github.com/apple1986/HWD

HWD 模块的核心思想是利用 HWT 将特征图的空间分辨率降低，同时保留所有信息，并将部分空间信息编码到通道维度。然后使用随后的卷积层用于提取判别性特征，并过滤冗余信息。

WaveletDownsample 结构图：

7、(TPAMI 2021) pnp-3D 点云特征细化模块

原文地址：(即插即用模块-特征处理部分) 七、(TPAMI 2021) pnp-3D 3D点云特征细化

paper：PnP-3D: A Plug-and-Play for 3D Point Clouds

Code：https://github.com/ShiQiu0419/pnp-3d

PnP-3D 模块的核心思想是通过改进点云特征表示，使其更具表达力和区分度。局部上下文和全局双线性部分的主要思想是：

• 局部上下文融合：分别使用 3D 坐标 和 特征 构建 局部几何图 和 局部特征图，提取出 局部几何上下文和 局部特征上下文。
• 全局双线性正则化：通过池化操作提取全局通道描述符和全局点描述符。再利用点间和通道间的相互依赖关系将全局双线性响应解码为全局感知图。

pnp-3D 结构图：

8、(ECCV 2022) GraphBlock

原文地址：(即插即用模块-特征处理部分) 八、(ECCV 2022) Graph Block

paper：GraphFit: Learning Multi-scale Graph-Convolutional Representation for Point Cloud Normal Estimation

Code：https://github.com/UestcJay/GraphFit

GraphBlock 的原理主要包含以下几点：

• 图结构表示： GraphBlock 将点云数据表示为图结构，其中每个点都是一个节点，节点之间的连接表示局部邻域关系。这种表示方式能够有效地编码点之间的几何关系，例如距离和方向。
• 图卷积： GraphBlock 使用图卷积来学习节点特征，并将其用于法线估计。图卷积是一种特殊的卷积操作，它能够同时考虑节点特征和节点之间的连接关系。
• 局部邻域几何特征： GraphBlock 通过图卷积学习到的节点特征包含了丰富的局部邻域几何信息，例如曲率、表面法线等。这些信息对于法线估计至关重要。

GraphBlock 结构图：

9、(2023) BCN 批量通道归一化

原文地址：(即插即用模块-特征处理部分) 九、(2023) BCN 批量通道归一化

paper：BCN: Batch Channel Normalization for Image Classification

Code：https://github.com/AfifaKhaled/Batch-Channel-Normalization

BCN的核心思想主要是沿(C, N, H, W)轴进行归一化，这需要同时考虑通道和批次维度。然而，直接计算(N, C, H, W)轴的平均值和方差会忽略通道和批次维度的重要性差异。所以，为了解决这个问题，BCN首先沿(N, H, W)轴计算平均值和方差，然后沿(C, H, W)轴计算，最后根据自适应参数ι将归一化输出进行组合。

BCN 结构：

10、(ICCV 2023) SAFM 空间自适应特征调制

原文地址：(即插即用模块-特征处理部分) 十、(ICCV 2023) SAFM 空间自适应特征调制

paper：Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution

Code：https://github.com/sunny2109/SAFMN

SAFM 通过多尺度特征表示和特征调制机制，可以有效地实现轻量化设计和高质量图像超分辨率的目标。SAFM 的核心思想便是通过多尺度特征表示来学习长程依赖，并动态选择代表性特征，从而实现高效的图像超分辨率。

SAFM 结构图：