AMiner推荐论文:A Style and Semantic Memory Mechanism for Domain Generalization

本文介绍了一种名为STEAM的方法,旨在通过引入领域内风格一致性,增强深度学习模型对不同领域的语义不变性的理解,从而改善模型的跨域泛化能力。它利用两个分离的编码器提取风格和语义信息,并通过记忆库和对比性损失优化风格一致性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文链接:https://www.aminer.cn/pub/617b941b6750f842fb7c54a6?f=cs
本文强调了,现有 DG 的工作都说我们要保证特征是 semantic invariance 的,但是忽略了每个 domain 内的 style 也是不变的。这篇文章尝试着去使用 intra-domain style invariance 来提升模型的泛化性能。文章提出了 STEAM, STEAM 融入了额外限制:同一个 domain 的样本共享同样的风格信息,加了这个额外限制之后,有助于有效地解耦风格特征,从而以较少的自由度简化对真正语义特征的搜索。2.2 Methodology
文章的框架很复杂,虽然 intuition 是好的,但是设计着实不敢恭维,很难 follow,因此这里简单讲一下思路。首先每个 image 提特征,然后分两个 encoder (style 和 semantic)分别提取风格信息和语义信息。

  1. 语义信息提取出来后自然要做一个分类,除此之外文章设计上的一个亮点(看着实在过于复杂)的 memory bank,依靠当前语义信息和 memory bank 中的语义信息计算一个相似度。
  2. 重点在于风格信息的处理。首先和语义分类计算一个正交的 loss,然后每个 domain 维护一个 memory bank,分别对每个 domain 的风格相似度计算一个 contrastive loss 来保证同一 domain 风格信息接近。
    AMiner,让AI帮你理解科学!https://www.aminer.cn
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值