XNet: Wavelet-Based Low and High Frequency Fusion Networks for Fully- and Semi-Supervised 论文阅读-优快云博客

code:Yanfeng-Zhou/XNet: [ICCV2023] XNet: Wavelet-Based Low and High Frequency Merging Networks for Semi- and Supervised Semantic Segmentation of Biomedical Images (github.com)

paper:ICCV 2023 Open Access Repository (thecvf.com)

摘要:

随着深度神经网络(dnn)的发展，生物医学图像的全监督和半监督语义分割得到了进一步的发展。然而，到目前为止，深度神经网络模型通常被设计为支持这两种学习方案中的一种，支持全监督和半监督分割的统一模型仍然有限。此外，很少有全监督模型关注图像的固有低频(LF)和高频(HF)信息来提高性能。基于一致性的半监督模型中的扰动通常是人为设计的。他们可能会引入不利于训练的消极学习偏见。在这项研究中，我们提出了一种基于小波的LF和HF融合模型XNet，它支持全监督和半监督语义分割，并且在这两个领域都优于最先进的模型。强调提取低频和高频信息进行一致性训练，以减轻人为扰动造成的学习偏差。在两个二维和两个三维数据集上的大量实验证明了该模型的有效性。代码可从https: //github.com/Yanfeng-Zhou/XNet获得。

1介绍

语义分割是生物医学图像分析中的一项基本任务，其目标是为每个像素分配一个类标签。基于卷积神经网络(convolutional neural networks, cnn)的生物医学图像语义分割方法已经取得了显著的成功[42,47,23,8]。一些研究将这些方法扩展到三维，并在体积分割方面取得了令人鼓舞的结果[35,10,62,37]。最近，变压器和cnn的结合已成为流行[5,54,53,20,54]。变压器可以捕获远程依赖关系[50,13,30]，以补偿cnn有限的接受域。然而，现有的方法大多侧重于模型架构，以更好地提取特征[67,38,65]。很少有方法探索图像的固有LF和HF信息，这些信息可能对分割有用[58,49]。对于生物医学图像的语义分割，监督方法需要大规模的标记图像，这是昂贵和耗时的。为了缓解这一问题，研究人员提出了半监督方