【SOD】有效感受野(ERF)可视化工具

顶刊上的例子

再一些CV顶刊上见到REF可视化的这些图：

• CVPR2022 RepLKNet
  
• ECCV2024 MambaIR
  
• CVPR2025 MobileMamba
  
• ECCV2024 Wavelet Convolutions for Large Receptive Fields

感受野（RF）与有效感受野（ERF）

1. 感受野（Receptive Field）

定义：
在卷积神经网络中，某一层特征图上的一个神经元对应输入图像中的区域，该区域即为该神经元的感受野。简单说，感受野就是输入图像中对该神经元有直接影响的区域大小。

数学计算：
感受野的大小由网络结构决定，可通过递归公式计算：
$$R{F}_l=R{F}_{l-1}+(k_l-1)\times \prod _{i=1}^{l-1}{s}_i$$
其中：

• $ RF_l $ 是第 $ l $ 层的感受野大小；
• $ k_l $ 是第 $ l $ 层的卷积核大小；
• $ s_i $ 是第 $ i $ 层的步长（stride）。

特点：

• 理论性：感受野是一个固定的几何区域，由网络结构（卷积核大小、步长、层数）完全确定。
• 全局性：传统感受野假设该区域内所有像素对输出的贡献均等，但实际并非如此。

2. 有效感受野（Effective Receptive Field, ERF）

定义：
有效感受野是指输入图像中对模型输出特征有显著影响的区域，是输入图像中真正对输出有显著贡献的区域。
与理论感受野不同，ERF考虑了各像素的贡献权重（通过梯度或激活值衡量），通常只是理论感受野的一部分。是指输入图像中对模型输出特征有显著影响的区域。

核心差异：

• 理论感受野：假设区域内所有像素贡献相同，是一个正方形或矩形。
• 有效感受野：实际贡献呈高斯分布（中心强、边缘弱），通常集中在理论感受野的中心区域，且形状不规则。

计算方法：

• 梯度法：通过计算输入对输出的梯度（如Saliency Map），梯度越大表示贡献越大。
• 方差法：分析输入噪声对输出的影响，方差大的区域贡献高。

应用价值：

• 模型解释：理解网络各层关注的区域，解释模型行为（如目标检测中的锚框设计）。
• 网络设计：优化感受野大小，使其与目标尺度匹配（如多尺度特征融合）。
• 数据增强：根据ERF调整裁剪或缩放策略，确保关键区域被保留。

3. 为什么ERF比感受野更重要？

• 稀疏性：实验表明，深层网络的ERF通常只占理论感受野的20%-50%，说明大部分边缘区域对输出贡献极小。
• 非均匀性：ERF的贡献分布不均匀，中心区域贡献远高于边缘，这与理论感受野的均匀假设矛盾。
• 实际指导意义：在设计模型时，了解ERF可以更精准地选择卷积核大小、步长等参数，避免冗余计算。

ERF可视化工具计算过程解析

见CVPR2022 RepLKNet论文的Appendix B: Visualizing the ERF部分。

用于可视化输入图像各像素对输出特征图中心点的贡献程度，以此直观展示模型的信息聚合范围和关注区域。

步骤概况：通过“导数量化影响→聚合与对数压缩→归一化”的流程，展示了模型关注的输入区域。

符号定义

• $I(n\times 3\times h\times w)$：输入图像
  • $n$：批量大小（样本数），
  • $3$：输入通道数（如RGB），$h$、$w$：图像的高和宽。
• $M(n\times c\times h^{\prime }\times w^{\prime })$：模型最终输出的特征图
  • $c$：特征图通道数，
  • $h^{\prime }$、$w^{\prime }$：特征图的高和宽。
• 关注对象：输出特征图$M$中每个通道的中心点——$M_{:,:,h^{\prime }/2,w^{\prime }/2}$（即所有样本、所有通道在特征图中心位置的像素）。

步骤1：计算像素级贡献分数（$P$）

目标是衡量输入图像$I$中每个像素对输出特征图中心点的影响，用导数量化这种影响： P = max ⁡ ( ∂ ( ∑ i n ∑ j c M i , j , h ′ / 2 , w ′ / 2 ) ∂ I , 0 ) P = \max \left( \frac{\partial \left( \sum_{i}^{n} \sum_{j}^{c} M_{i,j,h'/2,w'/2} \right)}{\partial I}, 0 \right) P=max ​∂I∂(∑in​∑jc​Mi,j,h<