35、U-Net架构中跳跃连接的必要性与任务复杂度的关系解析

U-Net架构中跳跃连接的必要性与任务复杂度的关系解析

1. 引言

在医学图像计算领域，U-Net架构凭借其在图像分割任务上的广泛成功，成为了首选模型。自2015年诞生以来，众多研究致力于探索其变体和改进方案。不过，有研究表明，U-Net的成功更多依赖于完善的数据处理流程，包括数据归一化、类别平衡检查和预处理等，而非架构本身的改变。

当前，医学图像分割面临的两大关键挑战是泛化能力和鲁棒性。缺乏泛化能力会导致模型在训练数据未充分覆盖的数据集上性能下降，而鲁棒性不足则表现为模型在存在噪声或其他干扰的数据上表现不佳。尽管多年来基于U-Net的模型平均准确率有所提高，但鲁棒性的提升却相对滞后。

U-Net的一个关键元素是跳跃连接，它能在不同尺度上直接将信息从编码分支传递到解码分支。虽然这种设计被认为有助于传播高分辨率上下文信息，但目前缺乏明确证据支持这一观点，并且对于跳跃连接在不同任务复杂度下的必要性以及对模型鲁棒性的影响，相关研究也十分有限。

本文通过对不同纹理的合成图像和包含超声（US）、计算机断层扫描（CT）和磁共振成像（MRI）的临床数据进行控制实验，深入探讨了跳跃连接与任务复杂度之间的相互作用，以及其在U-Net解码分支中“传递信息”的实际作用。我们推测，跳跃连接并非在所有任务复杂度下都能带来有益效果，具体取决于基于纹理修改衡量的任务复杂度。本文的主要贡献如下：
- 提出一种新颖的分析流程，用于评估图像分割模型的鲁棒性，该流程基于前景和背景纹理差异。
- 证实切断跳跃连接可能会使模型更具鲁棒性，尤其是在处理域外（OOD）测试数据时。此外，切断跳跃连接的效果可能优于通过注意力门控过滤编码器特征图。
- 揭示使用跳跃连接可能出现的失