【mmseg配置解析1】contract_dilation=True

mmseg配置解析 contract_dilation=True

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-优快云博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

contract_dilation=True 是 ResNetV1c 背骨网络中使用的一种设置，与卷积神经网络中的膨胀卷积（Dilated Convolution）有关。为了理解这个参数的作用，我们需要先理解一下什么是膨胀卷积及其目的，然后再介绍 contract_dilation=True 的含义及其在实际应用中的效果。

膨胀卷积（Dilated Convolution）

膨胀卷积（也称为空洞卷积）是一种通过在卷积核中的元素之间插入“空洞”来扩展卷积核的感受野（即卷积核可以覆盖更大范围的输入）。通过引入膨胀率（dilation rate），可以在保持卷积核参数数量不变的情况下增大感受野，从而捕获更大范围的上下文信息。

• 膨胀率（Dilation Rate）：卷积核元素之间的间隔。膨胀率为 1 时，相当于普通卷积；膨胀率为 2 时，卷积核每个元素之间间隔一个像素；膨胀率为 3 时，间隔两个像素，以此类推。

问题：膨胀卷积的“栅格效应”（Gridding Effect）

在多层网络中连续使用膨胀卷积时，如果不对膨胀率做适当的调整，会导致“栅格效应”（Gridding Effect）。这种效应表现为，膨胀卷积核在输入特征图上采样时，会在某些位置重复采样同一组像素，而其他像素则被忽略，导致信息丢失和网络性能下降。

contract_dilation=True 的作用

contract_dilation=True 是 ResNetV1c 中引入的一种机制，用于解决上述的“栅格效应”问题。

具体实现与作用

1. 膨胀率调整：当 contract_dilation=True 时，ResNetV1c 中的膨胀卷积会在不同的阶段收缩膨胀率。这种收缩可以看作是将较高的膨胀率降低，从而使得卷积核能够更密集地覆盖输入特征图上的像素，避免跳跃采样，减轻栅格效应。
2. 适应不同阶段的特征图大小：在 ResNet 的不同阶段，特征图的分辨率会逐渐降低。通过调整膨胀率，contract_dilation=True 可以确保在不同分辨率下的特征图上，卷积核的感受野保持合理大小，从而充分利用上下文信息。
3. 效果：这种设置可以使得膨胀卷积在捕获大范围上下文信息的同时，避免信息的重复和遗漏。最终，contract_dilation=True 有助于提升语义分割任务中特征提取的质量，尤其是在网络深层次阶段。

举例说明

假设你在一个深层网络中使用膨胀卷积，膨胀率设置为 (1, 2, 4, 8)。在这种情况下，如果不使用 contract_dilation，膨胀率会逐层增加，可能导致栅格效应。

• 未使用 contract_dilation：卷积核在高膨胀率时可能采样较远的像素点，而这些像素点之间的跳跃可能会导致某些像素点的上下文信息无法被有效利用，造成特征图中的信息空洞。
• 使用 contract_dilation=True：膨胀率在更深层次可能被收缩，例如变成 (1, 1, 2, 4)，这样可以让卷积核在更小范围内进行更密集的采样，避免信息丢失，从而更有效地捕捉细节和上下文信息。

总结

contract_dilation=True 是一种有效的策略，特别适用于在多层卷积神经网络中使用膨胀卷积的情况。它通过收缩膨胀率来减轻栅格效应，确保特征图上的信息被充分利用，从而提升模型的整体性能，尤其是在处理高分辨率的输入图像时表现尤为显著。