论文笔记：Deep Domain Confusion Maximizing for Domain Invariance

最新推荐文章于 2023-10-24 11:24:00 发布
原创 最新推荐文章于 2023-10-24 11:24:00 发布 · 360 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#1024程序员节 #MMD #域自适应 #深度学习 #迁移学习

论文介绍了一种利用MMD（最大均值差异）测量CNN隐藏特征间距离的方法，通过结合分类损失和域间距离，使网络自动学习到跨域表示。研究者添加低维瓶颈层防止过拟合，关注于提高域内分类性能的同时减小域间差异。

论文笔记：Deep Domain Confusion Maximizing for Domain Invariance

概述

提出编码MMD（最大 均值差异， Maximun Mean Discrepancy）来测量在 CNN中学习到的隐藏特征之间的距离。通过这种方法，网络通过最大化标签依赖性同时最小化域不变性来自动学习跨域表示。

方法

论文中的模型结构图
提出了如下损失函数来表示上述问题，
L=LC(XL,y)+λMMD⁡2(XS,XT) \mathcal{L}=\mathcal{L}_{C}\left(X_{L}, y\right)+\lambda \operatorname{MMD}^{2}\left(X_{S}, X_{T}\right) L=

最低0.47元/天 解锁文章
最优传输论文（十八）：Deep Domain Confusion: Maximizing for Domain Invariance论文原理
lyy的博客
08-17 525
目录前言摘要介绍3.Training CNN-based domain invariant representations4.Evaluation4.1. Evaluating adaptation layer placement4.2. Choosing the adaptation layer dimension4.3. Fine-tuning with domain confusion regularization4.4. Historical Progress on the Office Datas
DDC——Deep Domain Confusion Maximizing for Domain Invariance
炫云云
06-19 753
文章目录前言网络结构适应层（adaptation layer）位置的选取及大小的设定确定超参数λ参考 8.5 意境级讲解迁移学习 本文是为了解决迁移学习域适应问题 前言 数据样本不够怎么使用深度学习？第一时间想到的肯定是微调已经训练好的模型。但是由于源域与目标域的差距，对深度模型进行微调可能需要大量的数据。但是，目标域仅有少量或没有带标注的数据时，就无法有效的通过微调网络来实现对新样本的识别。 为了解决源数据与目标数据之间的分布差距，使源数据与目标数据之间具有相似的分布情况，这也就是所说的域适应问题。 DD
Deep Domain Confusion: Maximizing for Domain Invariance
weixin_44062399的博客
03-30 669
Deep Domain Confusion: Maximizing for Domain Invariance论文下载链接1、摘要1.1摘要中文整理1.2小猛的理解与疑惑2、介绍2.1、介绍中文整理2.2、小猛的理解与懵点 论文下载链接 链接：https://pan.baidu.com/s/1iTPjm1NfPs34otqGAJVRWA 提取码：3rel 下载先点赞，朋友们发量永驻！！！ 1、摘要 1.1摘要中文整理 最近的报告表明，在大规模数据集上训练的通用监督深度CNN模型在标准基准上减少了但
Deep domain confusion: Maximizing for domain invariance
热门推荐
gdtop的个人笔记
04-12 1万+
本篇是迁移学习专栏介绍的第六篇论文，来自来自加州大学伯克利分校的Eric Tzeng等人发表在arXiv 2014的DDC（Deep Domain Confusion）。DDC针对预训练的AlexNet（8层）网络，在第7层（也就是feature层，softmax的上一层）加入了MMD距离来减小source和target之间的差异。这个方法简称为DDC。 Abstract 最近的报告表明，在大...
[DDC]Deep Domain Confusion: Maximizing for Domain Invariance
HHzdh的博客
09-05 1644
DDC针对预训练的AlexNet（8层）网络，在第7层（也就是feature层，softmax的上一层）加入了MMD距离来减小source和target之间的差异。这个方法简称为DDC。
精选资源
2014 Deep Domain Confusion_ Maximizing for Domain Invariance.pdf
04-02
这篇题为《2014 Deep Domain Confusion: Maximizing for Domain Invariance》的论文是由来自加州大学伯克利分校和马萨诸塞大学洛威尔分校的研究者共同撰写的。文章提出了一种新的卷积神经网络（CNN）架构，通过引入...
论文笔记 ——《Deep Domain Confusion: Maximizing for Domain Invariance》
ZZhangxyuuu的博客
12-09 714
论文笔记 ——《深度学习神经网络迁移性提升》（《Deep Domain Confusion: Maximizing for Domain Invariance》) 答主因为最近在看迁移学习的论文，时间比较紧张，所以这几篇论文就只抓一下大纲，不考虑具体细节和模拟了，权当是随手笔记了（为了防止BOSS抽查啥也想不起来-> ->）。 关键知识点 本文讲了一种新的CNN架构，目的在于找到自适...
[论文解读]迁移学习之Deep Domain Confusion: Maximizing for Domain Invariance
weixin_42129882的博客
04-15 5003
一般的监督学习deep-CNN模型需要在大规模的数据集上训练，但不可移植。 微调预训练模型的方法在一些新的领域需要特别的数据，也不适用。 作者用了一种新的CNN结构，加入了一个自适应层（adaption layer）和一个addtional domain confusion loss来学习在语义上有意义的描述和在领域上不同的描述。1 并介绍了一个可用于模型选择的domain confusi...
deep domain confusion
10-16
# DDC-transfer-learning A simple implementation of Deep Domain Confusion: Maximizing for Domain Invariance which is inspired by [transferlearning][https://github.com/jindongwang/transferlearning]. The project contains *Pytorch* code for fine-tuning *Alexnet* as well as *DDCnet* implemented according to the original paper which adds an adaptation layer into the Alexnet. The *office31* dataset used in the paper is also used in this implementation to test the performance of fine-tuning *Alexnet* and *DDCnet* with additional linear *MMD* loss. # Run the work * Run command `python alextnet_finetune.py` to fine-tune a pretrained *Alexnet* on *office31* dataset with *full-training*. * Run command `python DDC.py` to fine-tune a pretrained *Alexnet* on *office31* dataset with *full-training*. # Experiment Results Here we have to note that *full-training* protocol, which is taking all the samples from one domain as the source or target domain, and *dowm-sample* protocol, which is choosing 20 or 8 samples per category to use as the domain data, are quite different data preparation methods with different experiment results. | Methods | Results (amazon to webcame) | | :------: | :------: | | fine-tuning Alexnet (full-training) in *Pytorch* | Around 51% | | DDC ( pretrained Alexnet with adaptation layer and MMD loss) in *Pytorch* | Around 56% | # Future work - [ ] Write data loader using *down-sample* protocol mentioned in the paper instead of using *full-training* protocol. - [ ] Considering trying a tensorflow version to see if frameworks can have a difference on final experiment results. # Reference Tzeng E, Hoffman J, Zhang N, et al. Deep domain confusion: Maximizing for domain invariance[J]. arXiv preprint arXiv:1412.3474, 2014.
神奇的深度迁移学习DDC：Deep Domain Confusion: Maximizing for Domain Invariance
bbbeoy的专栏
08-23 3007
https://blog.youkuaiyun.com/qq_24305433/article/details/80239412 1、简介 数据样本不够怎么使用深度学习？大家第一时间想到的肯定是微调已经训练好的模型，像VGG、Inception、Resnet这样的模型，但是有时我们可能会发现，有时微调后的效果并不是很好，可能会需要微调好多层才能得到较好的效果，但是这往往需要大量的样本，但当我们仅有少量或没有带标注的数据时，我们就无法有效的通过微调网络来实现对新样本的识别。存在这一问题的主要原因是源数据与目标数据之间
Deep Domain Confusion: Maximizing for Domain Invariance阅读笔记
ZG
10-24 235
适应层用于学习在域适应上下文中适应目标域的新表示。通过评估不同层选择的源域和目标域之间的 MMD，本文确定了最小化域差异并实现最佳适应性能的维度。该论文提出了一种用于域适应的新颖 CNN 架构，该架构结合了适应层和基于最大均值差异（MMD）的域混淆损失。其中L_domain是域混淆损失，λ是正则化超参数，MMD是最大平均差异，X_source和X_target分别是源域和目标域的表示。2.通过域混淆正则化进行微调：使用联合损失函数对适应层进行微调，该联合损失函数包括分类损失和基于MMD的域混淆损失。
DSM： Domain-invariant Stereo Matching Networks 域不变的立体匹配网络
flow_specter的博客
12-22 1719
DSM： Domain-invariant Stereo Matching Networks 域不变的立体匹配网络 作者‖ flow 编辑‖ 3D视觉开发者社区 3D开发者社区链接：https://mp.weixin.qq.com/s/qNmnGVSAuQU7KusI630-og 导语： 本文是由来自牛津大学、百度研究院以及香港中文大学团队发表的论文，该团队提出了域不变的立体匹配网络方法，用于解决立体匹配网络中直接跨域泛化的问题。适合对立体匹配领域感兴趣，并对该领域术语与概念有一定了解的读者学习。 论文链
【菜鸟学习论文】Domain-invariant Stereo Matching Networks
qq_42344132的博客
05-14 539
摘要： 在本文中，我们的目标是设计一个领域不变的立体匹配网络(DSMNet)，它可以很好地推广到看不见的场景中。 为了实现这一目标，我们提出了： i)一种新的“领域标准化”方法，规范化学习表示的分布，使它们对领域的差异是不变， ii)一个端到端可训练的结构保留图的过滤器来提取鲁棒的结构和几何表示，可以进一步增强领域不变推广。 1.介绍 然而，最先进的立体声匹配网络（监督[5,19,63]和无监督[51,68]）不能在没有微调或适应的情况下很好地推广到不可见的数据。它们的困难在于很大的领域差异（如
Estimating Generalization under Distribution Shifts via Domain-Invariant Representations
sinat_39207356的博客
03-05 947
Estimating Generalization under Distribution Shifts via Domain-Invariant Representations Abstract 本文使用一组domain-invariant predictors来近似（proxy）未知域的真实标签；由于所得风险估计的误差取决于近似（proxy）模型的目标风险，本文研究了域不变表示的泛化，并表明隐性表示（latent representation）的复杂性对目标风险有显著影响。从实验角度，本文方法(1)实现了
Learning Domain-Invariant Discriminative Features for Heterogeneous Face Recognition阅读笔记
Malidong的博客
03-16 981
Shanmin Yang; Keren Fu; Xiao Yang; Ye Lin; Jianwei Zhang; Cheng Peng 2020 IEEE 一、简介 提出了一个用于学习HFR的域不变鉴别特征的四元组框架，它在一个统一的网络中集成了域级和类级对齐。域级比对减少了跨域分布差异。基于一个特殊的四元组损失的类级比对被进一步发展以减少类内变异和扩大实例间的类间可分性，从而处理域级比对面临的错位和对抗平衡问题。通过双向跨域数据选择策略，基于四元组丢失的方法显著地丰富了训练集并进一步消除了跨模态偏移。
论文阅读：Domain-Invariant Stereo Matching Networks
DeH40的博客
03-22 1232
论文阅读：Domain-Invariant Stereo Matching Networks ECCV2020 Oral Abstract 现有STOA立体匹配网络很难泛化到未见场景，这是因为不同的数据集之间有显著的差异（如颜色、照明、对比度和纹理）。在本文中，作者的目标是设计一个域不变（Domain-Invariant）的立体匹配网络（DSMNet），它能很好地泛化到未见的场景。 为了实现这一目标，作者提出了 i)一种新型的 "domain normalization "方法，将学习到的表征的分布归
deep domain confusion: maximizing for domain invariance
04-28
Deep Domain Confusion是一种域自适应技术，它的目的是最大化域不变性。域自适应的主要问题在于如何处理数据的领域差异，当源域和目标域的概率分布不同时，传统的监督学习方法失效。 Deep Domain Confusion通过在深度神经网络中添加领域分类器，将其与特征提取器相连。领域分类器的目的是判断输入的数据来自源域还是目标域。同时，特征提取器的目标是提取能够区分源域和目标域的特征，使得特征的分布尽量相似。这种方法能够避免过拟合问题，提高了网络的泛化性能。 在实际应用中，Deep Domain Confusion通常用于处理一些现实中具有域差异的问题。例如，通过人工智能识别手写数字的应用中，由于不同人写数字的风格不同，深度学习模型可能无法很好地处理。这时，可以使用Deep Domain Confusion来解决这个问题，通过使特征分布更加一致，提高数字识别的精度。 综上所述，Deep Domain Confusion是一种在深度神经网络中处理域自适应问题的技术，它通过最大化域不变性来提高模型的泛化能力，以应对现实中的具有域差异的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值