CF Distance: A New Domain Discrepancy Metric and Application to Explicit Domain Adaptation for Cross

这篇论文介绍了复旦大学庄吓海老师团队在多模态医学影像分析领域的研究,特别是针对心脏图像的多模态配准和分割。他们提出了CFDistance,一种用于清晰迁移学习的域差异度量方法,不同于传统的对抗训练。文章还介绍了基于U-Net的网络架构,包括分割器和重构器,以及两种损失函数:SlicedCFDistanceLoss和MeanLoss。实验结果显示,这种方法在心脏图像分割上有所提升。
部署运行你感兴趣的模型镜像

1.作者介绍

复旦大学大数据学院庄吓海老师团队 主要研究多模态医学影像分析
庄老师在MICS上的报告 zxh@fudan.edu.cn
吴富平 也是复旦大学老师 但是没有相关的百度搜索结果
两位老师的主要方向应该是心脏图片的多模态配准和分割

2.主要贡献

本篇paper主要讲的是 CF Distance 主要是心脏方面的多模态迁移学习, 
他不是和以前一样隐式的通过对抗学习最小化差异,而是清晰的迁移学习,(This metric, referred to as CF distance, enables explicit
domain adaptation, in contrast to the implicit manners
minimizing domain discrepancy via adversarial training.)
迁移学习:它的目标是将这两个域转换为一个共同空间,其中它们分布的差异可以最小化。因此,一个有效的**域差异度量**对于解决这一问题至关重要。

在医学分割领域,大多数都是使用迁移学习和生成对抗网络来生成数据,
discriminators: 用来判断模态不变特征	
generators:      用来生成新的图片
通过隐式的消除这二者之间的差别来实现训练
但是其还存在很大的问题:如何找到纳什均衡点 ,需要额外的坚定网络等维问题。

1.提出了一个高效的网络结合先验知识和网络重构实现了图像分割
2.提出了CF distance

3. CF distance

这里是文章的重点,本人数学基础不是很好,如有差错还请见谅。
ZT 代表 从target domain(目标域)获取的数据
ZS 代表从source domain(源域)
都是映射之后的结果
在这里插入图片描述
分别代表ZT 和ZS的分布

我们都可以看成上述两个东西PzT(z)是z空间域的信息
将其转换为频域

在这里插入图片描述
在这里插入图片描述
傅里叶变化公式如下
在这里插入图片描述
带入之后我们可以得到:

在这里插入图片描述
又因为CFs和他们是互相确定的 所以可以知道

在这里插入图片描述
当f 相同的时候 他们的p 相同,可以使用p来代表他们的f的距离
在这里插入图片描述
正常情况下,我们应该使用全集U来进行计算,这显然不现实。同时高频率的信息有可能被忽视,所以我们使用了小批量数据进行计算,
在这里插入图片描述

设计了两种种损失函数:

  1. Sliced CF Distance Loss:
    在这里插入图片描述
    受[两个分布之间的切片的沃瑟斯坦距离的启发,我们将切片的CF距离定义为一种替代方法。

  2. The Mean Loss:
    我们还使用了一阶统计信息,即平均值,来实现域的自适应。我们用zS和zT期望值的欧几里得距离明确定义平均损失,如下
    在这里插入图片描述

4.网络架构

在这里插入图片描述
很经典的U-net 作为Encoder层
分割器:基于编码器中的多尺度结构,我们设计了三个网络,每个网络具有两个顺序卷积块(包括一个卷积层、一个实例归一化层和一个激活层)。每个网络以编码器提取的某一层次的潜在特征为输入,并输出相应尺度的分割。这三个尺度的结果,然后通过卷积层融合,生成最终的分割。
重构器:模块由几个残余块和两个顺序卷积块组成。以目标图像的潜在特征为输入,尽可能与编码器输入图像相似的输出图像。该技术有助于约束目标图像分割中的解剖形状。
explicit adaptation:CFD loss使得两个域之间的距离变小

5.结果如下:

在这里插入图片描述

基本上都会有一到两个点的提升
在这里插入图片描述
多种比较不详细介绍了

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型,面向强推理、智能体任务以及多样化开发场景

### 回答1: 最大分类器差异是一种用于无监督域自适应的方法,它通过最大化源域和目标域之间的分类器差异来提高模型的泛化能力。该方法通过在源域和目标域之间构建一个共享的特征空间,并使用最大均值差异来对齐两个域之间的特征分布。最大分类器差异方法已经在图像分类、目标检测和语音识别等领域得到了广泛的应用。 ### 回答2: 最大分类器差异(maximum classifier discrepancy)是一种用于无监督领域适应的分类器度量方法。在无监督领域适应中,在源域和目标域之间存在着分布差异,因此我们无法直接利用源域的标记样本进行训练。而最大分类器差异方法尝试通过最小化源域和目标域之间的分类性能差异来进行域适应,从而提高在目标域上的分类性能。 在最大分类器差异方法中,我们使用分别使用源域和目标域的数据来训练两个分类器。然后,我们用两个分类器来分别对源域和目标域的数据进行分类,并计算两个分类器之间的差异。这个差异被称为最大分类器差异。最大分类器差异越小,说明源域和目标域之间的分类性能差异越小。 最大分类器差异方法的优点在于它不需要任何标记信息,因此可以更好地解决无监督领域适应问题。此外,最大分类器差异方法可以应用于各种不同类型的数据,包括图像、语音等等。 最大分类器差异方法的一个缺点是,它仅仅关注了源域和目标域之间的分类性能差异,而没有考虑其他因素。另外,最大分类器差异方法的计算复杂度较高,需要对数据进行多次训练和分类,在实际应用中可能存在一定的困难。 ### 回答3: 最大分类器差异(Maximum Classifier Discrepancy,MCD)是一种用于非监督式域适应(Unsupervised Domain Adaptation,UDA)的优化方法,用于在源域和目标域之间的差异中减少域偏移和增加分类器的鲁棒性。MCD在同类和异类样本之间寻找主要差异,并通过对样本特征进行最大投影差异来实现最佳分离。 在非监督式域适应中,我们没有目标标签可用,因此不能使用传统的监督方法进行域适应。MCD通过最大化分类器在源域和目标域之间的差异,来找到两个领域之间的分界线,并提高分类器的泛化能力。具体来说,MCD使用最大平均散度(Maximum Mean Discrepancy,MMD)来测量源域和目标域之间的相似性和差异性,即通过学习使得源域和目标域的特征分布差异最大化的映射函数,来尽可能减少领域之间的差异。 MCD还可以用于不同类型的域适应问题,包括图像领域、语音领域和自然语言处理领域。在图像领域中,MCD可以用于目标域具有不同光照、角度和尺度情况的情况下的图像分类。在语音领域和自然语言处理领域中,MCD可以帮助训练具有更好鲁棒性的语音识别模型和文本分类模型。 总之,MCD是一种用于非监督式域适应的有效工具,它能够在源域和目标域之间的差异中找到主要的差异,并提高分类器的泛化能力。同时,MCD也是一个可扩展的方法,可以应用于不同领域和问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值