卷积神经网络感受野计算详解

计算卷积神经网络的感受野

深度神经网络虽在人工智能领域取得突破性成果，但其开发和调试仍存在挑战。本研究从卷积模型角度分析神经网络，重点探讨输入信号对输出特征的影响程度，以及将网络任意位置的特征映射回产生它们的输入区域。卷积网络感受野是关联输出特征与输入区域的关键参数，定义为生成该特征的输入区域大小。

主要贡献

1. 数学推导与高效算法：提出现代卷积神经网络感受野计算的数学推导和高效算法。早期研究仅针对单路径卷积网络提供递归方程，本文重新推导得出单路径情况下的闭式表达式，并首次将感受野计算扩展到多路径现代卷积架构。
2. 开源工具库：推出开源库自动执行感受野计算，集成于TensorFlow代码库，可轻松分析多种模型。

问题设置

考虑具有L层的全卷积网络（FCN），定义特征图$f_l\in {\mathbb{R}}^{h_l\times w_l\times d_l}$表示第l层输出，其中高度$h_l$、宽度$w_l$和深度$d_l$。输入图像记为$f_0$，最终输出特征图为$f_L$。

每层l的空间配置由4个参数定义：

• $k_l$：核大小（正整数）
• $s_l$：步幅（正整数）
• $p_l$：应用于输入特征图左侧的填充（非负整数）
• $q_l$：应用于输入特征图右侧的填充（非负整数）

单路径网络计算

感受野大小计算

定义$r_l$为最终输出特征图$f_L$相对于特征图$f_l$的感受野大小。递归方程为：
$$r_{l-1}=s_l\cdot r_l$$