71、基于贝叶斯频率重新参数化的3D核扩展用于医学图像分割

基于贝叶斯频率重新参数化的3D核扩展用于医学图像分割

1. 引言

随着视觉变压器（ViTs）的引入，卷积神经网络（CNNs）在多个体积数据基准测试中面临巨大挑战，尤其是在医学图像分割领域。ViTs的关键优势在于其通过多头自注意力机制实现了大有效感受野（ERF），但注意力机制在输入分辨率方面的计算扩展性较差。因此，深度卷积的概念被重新审视，以使用大核尺寸（如7×7×7）提供可扩展且高效的特征计算和大ERF。然而，无论是先前的研究还是我们的实验都表明，当编码器块中的核尺寸增大时，模型性能会趋于饱和甚至下降。我们推测，卷积中增大核尺寸可能会限制从局部到全局尺度的最优学习收敛。

最近，在自然图像领域，通过结构重新参数化（SR）已经证明了使用大核卷积（如31×31、51×51）的可行性。SR通过自适应恒定尺度线性加法（CSLA）块，并在推理期间重新参数化大核权重。由于小核卷积更容易收敛，重新参数化后的权重中，小核区域的收敛性得到增强。基于此观察，我们进一步思考：能否在训练期间，对卷积核的每个元素进行可变收敛调整，而不仅仅是区域局部性的调整？

在这项工作中，我们首先推导并扩展了CSLA块中权重优化的理论等价性。我们发现，每个分支的核权重可以使用特定分支的学习率进行可变收敛优化。此外，SR的ERF可视化显示，其从中心元素到全局周围的分布更广泛，这与人类视觉系统中的空间频率行为相似。

受空间频率的倒数特性启发，我们将空间频率建模为贝叶斯先验，以在随机梯度下降中调整每个卷积核元素的可变收敛。具体而言，我们计算一个与核中心距离相关的缩放因子，并在训练期间将其乘以相应的核元素进行重新参数化。此外，我们将编码器块设计简化为简单的卷积块，以最小化训练中的计算负担，并实现了最先进（SOT