78、进化归一化优化提升语义分割网络性能

进化归一化优化提升语义分割网络性能

1. 引言

语义分割是医学计算机视觉中的常见任务，通常由全卷积编码器 - 解码器深度神经网络（DNNs）执行。这些网络通常包含某种归一化层，旨在减少内部协变量偏移（ICS）的影响。然而，对于批量归一化（BN）的理解存在争议，有人认为其成功在于通过平滑目标函数来使用更高的学习率，而非减少 ICS。

实例归一化（IN）、层归一化（LN）和组归一化（GN）等是为克服 BN 的缺点而发展起来的方法，例如在小批量大小下性能下降的问题。此外，缩放指数线性单元（SELUs）可以作为自归一化激活函数。

通常，网络中只使用单一的归一化方法，涉及多种归一化方法的研究较少。神经架构搜索（NAS）是一种调整神经网络架构的策略，通过评估一组候选架构并选择“最适合”的架构进行繁殖，以优化目标函数。

本文提出了一种新颖的进化 NAS 方法 evoNMS（进化归一化方法搜索），通过优化基线 U - Net 中归一化方法的时空使用来提高语义分割性能。该方法在十一个生物医学分割数据集上进行了评估，并与最先进的语义分割方法（nnU - Net）以及使用恒定归一化（如 BN、IN 和无归一化 NoN）的 U - Net 进行了比较。

2. 相关工作

为了在语义分割任务中获得最佳性能，优化数据预处理和架构设计非常重要。一些研究采用进化方法来确定最佳的 U - Net 架构变体，考虑了深度、滤波器大小、池化类型、内核类型和优化器等超参数。

多项研究表明，神经网络从归一化中受益，可提高任务性能、泛化能力和收敛行为。例如，批量归一化通过引入双重归一化来关注潜在空间中的数据偏差，实现更好的域泛化。域独立归一化有