论文链接:https://www.aminer.cn/pub/617b941b6750f842fb7c54a6?f=cs
本文强调了,现有 DG 的工作都说我们要保证特征是 semantic invariance 的,但是忽略了每个 domain 内的 style 也是不变的。这篇文章尝试着去使用 intra-domain style invariance 来提升模型的泛化性能。文章提出了 STEAM, STEAM 融入了额外限制:同一个 domain 的样本共享同样的风格信息,加了这个额外限制之后,有助于有效地解耦风格特征,从而以较少的自由度简化对真正语义特征的搜索。2.2 Methodology
文章的框架很复杂,虽然 intuition 是好的,但是设计着实不敢恭维,很难 follow,因此这里简单讲一下思路。首先每个 image 提特征,然后分两个 encoder (style 和 semantic)分别提取风格信息和语义信息。
- 语义信息提取出来后自然要做一个分类,除此之外文章设计上的一个亮点(看着实在过于复杂)的 memory bank,依靠当前语义信息和 memory bank 中的语义信息计算一个相似度。
- 重点在于风格信息的处理。首先和语义分类计算一个正交的 loss,然后每个 domain 维护一个 memory bank,分别对每个 domain 的风格相似度计算一个 contrastive loss 来保证同一 domain 风格信息接近。
AMiner,让AI帮你理解科学!https://www.aminer.cn