迁移学习&domain adaption

最新推荐文章于 2025-06-16 16:21:13 发布
原创 最新推荐文章于 2025-06-16 16:21:13 发布 · 4.3k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文介绍了迁移学习的基本概念，重点讨论了在卷积神经网络（CNN）中的应用方法。包括从头学习、特征提取及微调等技术，并提出了选择合适迁移学习方法的依据。同时，文章还提供了一些实用建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >



一 概念：


（1）learning from scratch  即学一个CNN网络with random initialization


  (2)  在新的学习任务中，可以利用现有训练好的imagenet网络提取特征，去掉最后一个分类的全连接层，在classifier层之前提取4096维的特征，这些特征称为CNN code


（3）在CNN网络结构中，前面的卷积层保留更多的普遍特征 generic features（edge detectors 或者corlor blob detectors)，后面的卷积层包含更多的 task specific 特征


二 迁移学习的两种方法：


 （1）利用已有的model提取特征，后面再训练分类器，比如linear svm或者softmax classifier。


 （2）finetune 已有的model： 即在已训练好参数的CNN结构上，利用自己的数据进行back propagation, finetune网络已有的weights.


      (可以finetune 整个CNN ,也可以保持前面的一些层的参数不变，只finetune网络的高层部分，这样做可以防止过拟合）


三  迁移学习方法的选择：


    主要取决于数据集的大小，以及与之前预训练数据集的相关性


（1）数据集很小，与预训练数据集相似: 直接提特征，提最后一层的CNN code, 训练linear 分类器


 (2) 数据集很小，与预训练数据集不同： 在前面的网络层中提feature,训练线性分类器


（3）数据集很大，与预训练数据相似：finetune 整个网络层


（4）数据集很大，与预训练数据不同：可以learning from scratch，也可以在预训练的model上finetune


四 一些实用的建议：


（1）finetune的时候输入图片的大小不受限制，因为forward function的与输入的spatial 大小无关，只要stride能fit


（2）把需要finetune的网络层的学习率设低一点： 因为我们默认预训练的model的参数已经很好了，因此在finetune优化的时候采取小的学习率




迁移学习

CNN for Visual Rcognition --- Stanford 2015 （二）

迁移学习的相关概念

迁移学习论文杂读（门外汉级）


Sinno Jialin Pan, Qiang Yang, A Survey on Transfer Learning, IEEE Transactions on Knowledge and Data Engineering (IEEE TKDE)




此外在下面的这个链接中还有一些开源的软件和数据库：


http://www.cse.ust.hk/TL/index.html


迁移学习（ Transfer Learning ）




https://kwotsin.github.io/tech/2017/02/11/transfer-learning.html






【深度学习|迁移学习】多目标领域适应技术（Multitarget Domain Adaptation, MTDA）详述（二）
2401_89898861的博客
01-19 1240
【深度学习|迁移学习】多目标领域适应技术（Multitarget Domain Adaptation, MTDA）详述（二）
深度解析迁移学习中的DomainAdaptation技术
AI天才研究院
05-17 442
1. 背景介绍 1.1 迁移学习的兴起 近年来，随着深度学习技术的快速发展，人工智能在各个领域取得了显著的成果。然而，深度学习模型通常需要大量的标注数据才能获得良好的性能。在许多实际应用场景中，获取大量的标注数据往往是十分困难且昂贵的。为了解决这个问题，迁移学习应运而生。 迁移学习旨在利
【迁移学习】Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent
毛毛的博客
10-14 1028
文章目录2.相关工作2.1 基于CNN的目标检测2.2 基于点云的3D目标检测3.PIXOR 检测器4.结果4.1 KITTI上的BEV目标检测5.总结 ## 摘要 作者考虑了语义分割中的无监督域自适应问题。这一问题的关键在于减少域偏移，即强制两个域的数据分布相似。常用的策略之一是通过对抗学习来对齐特征空间中的边缘分布。然而，这种全局对齐策略没有考虑类别级别的联合分布，这样源和目标之间最初很好对齐的一些类别可能被错误地映射，导致目标域中更差的分割结果。因此，作者引入了一个类级别的对抗性网络，目的是在全局
迁移学习——Domain Adaptation
热门推荐
小花生的博客
07-08 5万+
Domain Adaptation 在经典的机器学习问题中，我们往往假设训练集和测试集分布一致，在训练集上训练模型，在测试集上测试。然而在实际问题中，测试场景往往非可控，测试集和训练集分布有很大差异，这时候就会出现所谓过拟合问题：模型在测试集上效果不理想。 以人脸识别为例，如果用东方人人脸数据训练，用于识别西方人，相比东方人识别性能会明显下降。 当训练集和测试集分布不一致的情况下，通过在训练...
深度学习——迁移学习(Transfer Learning)
最新发布
zdx2585503940的博客
06-16 2379
迁移学习（Transfer Learning）是机器学习中的一种方法，它允许我们将从一个任务中学到的知识应用到另一个相关但不同的任务中。就像人类能够将学习骑自行车的经验应用到学习骑摩托车上一样，迁移学习让AI模型也能实现类似的"经验迁移"。传统机器学习方法通常假设训练数据和测试数据来自相同的分布，并且每个任务都是独立学习的。而迁移学习打破了这一限制，使得知识可以在不同但相关的领域间传递。迁移学习已成为现代AI系统开发的核心技术之一，它通过利用已有知识来解决新问题，大幅降低了AI应用的门槛。
Domain Adaption
Vic_Hao的博客
11-11 1200
source domain target domain 源域和目标域往往属于同一类任务，但是分布不同。 根据目标域和源域的不同类型，领域自适应问题有四类不同的场景：无监督的，有监督的，异构分布和多个源域问题。 通过在不同阶段进行领域自适应，研究者提出了三种不同的领域自适应方法：1）样本自适应，对源域样本进行加权重采样，从而逼近目标域的分布。2）特征层面自适应，将源域和目标域投影到公共特征子空间。3...
域适应（domain adaptation）
如果想成为中心，那么就到中心去吧。
05-22 3万+
文章目录导读前言域适应类别任务相关性一步域适应技术及其应用基于散度的域适应基于对抗的域适应基于重建的域适应结论 导读 在迁移学习中， 当源域和目标的数据分布不同 ，但两个任务相同时，这种特殊的迁移学习叫做域适应 （Domain Adaptation，DA ）。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。那么解决这类问题的思路是什么呢？请看 AI 前线翻译的这篇文章，希望能有所启
Domain Adaption 领域自适应
weixin_43120238的博客
10-06 1088
定义（from Wiki): Domain Adaption是transfer leanring（迁移学习）中很重要的一项内容。主要目的是将具有不同分布的（data distribution）的具有标签（label）的源域（source domain）和不带标签的目标域（target domain） 映射（map）到同一个特征空间（embedding mainfold）。 数学化（Formalization) X，YX， YX，Y 分别为输入空间和输出空间； Machine Leanring 算法的..
【迁移学习】PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation
毛毛的博客
10-24 2453
文章目录前言摘要1.介绍2.相关工作2.1 3D Vision Understanding2.2 Unsupervised Domain Adaptation (UDA)3.Model3.1 Problem Definition and Notation3.2 Local Feature Alignment3.3 Global Feature Alignment3.4 训练过程4.结果4.1 KITTI上的BEV目标检测5.总结 前言 1. 为什么要做这个研究？ 2. 实验方法是什么样的？ 3. 得到了
迁移学习（Transfer learning）、领域自适应（Domain adaptation）以及小样本学习
渊荼
03-20 5461
Transfer learning、Domain adaptation以及小样本学习 文章目录Transfer learning、Domain adaptation以及小样本学习前言一、迁移学习（Transfer learning）二、域自适应（Domain adaptation）三、小样本学习1.引入库2.读入数据总结 前言   从人工建立基于规则的知识库到从数据中进行机器学习，使机器像人类一样思考的尝试已经走了很长的路。目前，机器学习已经从一个模糊的学科发展成为了一种推动工业和社会发展的重要力量。
迁移学习与域自适应
liuyishou
08-13 5620
文章目录1 摘要2 思路2.1 Question：2.2 理论公式2.3 任务场景2.3.1 同样的域，不同任务2.3.2 同样任务，不同的域3 总结附录 1 摘要 本文会介绍迁移学习与域自适应的具体区别 首先，解答一个问题：如果说两个image服从同一种分布,到底是什么意思？ 之后通过数学理论公式，严谨的将迁移学习与域自适应区分开来，并介绍两者相应的应用场景。 坚持看下去，我会讲清楚，我也相信你会有所收获。 2 思路 2.1 Question： 如果说两个image服从同一种分布,到底是什么意思？
Domain Adaptation（领域自适应，MMD，DANN）
nakaizura
12-26 4万+
Domain Adaptation 现有深度学习模型都不具有普适性，即在某个数据集上训练的结果只能在某个领域中有效，而很难迁移到其他的场景中，因此出现了迁移学习这一领域。其目标就是将原数据域（源域，source domain）尽可能好的迁移到目标域（target domain），Domain Adaptation任务中往往源域和目标域属于同一类任务，即源于为训练样本域（有标签），目标域为测集域，其测试集域无标签或只有少量标签，但是分布不同或数据差异大，具体根据这两点可以划分为： homogeneous .
Domain Adaption3
immortal的小屋
07-17 500
3.Discriminative Feature Alignment: Improving Transferability of Unsupervised Domain Adaptation by Gaussian-guided Latent Alignment github: Discriminative-Feature-Alignment
学习笔记|领域自适应（Domain adaption)——实现模型的自适应迁移
oXiLang的博客
03-09 6381
有时候我们在某个领域训练出的一个模型，想迁移到另一个领域，这样我们就不需要每个领域都去标注大量的数据了。
Domain Adaptation 简介
weixin_44777302的博客
07-01 651
Domain Adaptation 简介Domain Adaptation Tutorial问题背景问题背景功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Domain Adaptation Tutorial 严格来说，这并不是一
笔记：Domain Adaptation on the Statistical Manifold
choubaguaihailan的博客
05-03 2096
在统计流形上的域适应Domain Adaptation on the Statistical ManifoldYvonne-fan - Introduction - Algorithm - Optimization - Evaluation
Domain Adaptation 相关介绍
..
01-09 842
Transfer learning 是机器学习的一个分支, 而 Domain adpatation 是 transfer learning 的一个分支.在 transfer learning 中有两个概念: source domain (源域) 和 target domain (目标域).源域中往往有丰富的信息, 比如有大量的数据点和其真实的标签;
领域适应学习(domain adaptation）
wydbyxr的博客
09-30 1万+
领域适应学习(domain adaptation）   iid（独立同分布） 为了解决训练集和测试集的数据分布不匹配（即不满足iid条件），在无监督学习中提出了domain adaptation（领域自适应） 。   领域自适应（Domain Adaptation）是迁移学习（Transfer Learning）的一种，思路是将不同领域（如两个不同的数据集）的数据特征映射到同一个特征空间，这样可利...
领域自适应（Domain Adaptation）的简单介绍
百年孤独百年的博客
05-30 1万+
领域自适应（Domain Adaptation）是指通过学习源领域和目标领域之间的差异，来实现将源领域的模型迁移到目标领域的能力。在实际应用中，由于数据的获取和标注成本较高，我们通常会面临数据集不完整、不平衡、标注不准确等问题，这些问题会影响模型的泛化能力和性能。领域自适应可以帮助我们解决这些问题，提升模型的泛化能力和性能。
dann迁移学习风力发电预测代码
05-30
以下是使用DANN（Domain Adaption Neural Network）进行风力发电预测的代码示例。该模型使用了迁移学习技术，将在一个领域（源域）训练的模型应用于另一个领域（目标域）中。这个例子中，我们将在一个地区收集的风力数据作为源域，然后将模型应用于另一个地区的风力数据作为目标域，以预测风力发电量。 首先，我们需要导入必要的库： ```python import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from keras.models import Sequential, Model from keras.layers import Dense, Input, Concatenate from keras.optimizers import Adam from keras.callbacks import ModelCheckpoint ``` 然后我们可以读入源域和目标域的数据： ```python # 读入源域数据 source_data = pd.read_csv('source_data.csv') source_data = source_data.drop('date', axis=1) # 删除日期列 # 读入目标域数据 target_data = pd.read_csv('target_data.csv') target_data = target_data.drop('date', axis=1) # 删除日期列 ``` 接下来，我们需要将源域和目标域的数据进行预处理。在这个例子中，我们将使用标准化将数据缩放到相同的范围内： ```python # 将数据分为特征和目标 source_features = source_data.drop('power', axis=1) source_target = source_data['power'] target_features = target_data.drop('power', axis=1) target_target = target_data['power'] # 对特征进行标准化 scaler = StandardScaler() source_features = scaler.fit_transform(source_features) target_features = scaler.transform(target_features) ``` 然后，我们可以定义 DANN 模型。DANN 模型由三个部分组成：共享层，源域特定层和目标域特定层。共享层和源域特定层用于在源域数据上训练模型，而共享层和目标域特定层用于在目标域数据上进行预测。 ```python # 定义共享层 shared_layer = Sequential() shared_layer.add(Dense(32, input_dim=7, activation='relu')) shared_layer.add(Dense(16, activation='relu')) # 定义源域特定层 source_specific_layer = Sequential() source_specific_layer.add(Dense(8, input_dim=16, activation='relu')) source_specific_layer.add(Dense(1)) # 定义目标域特定层 target_specific_layer = Sequential() target_specific_layer.add(Dense(8, input_dim=16, activation='relu')) target_specific_layer.add(Dense(1)) # 定义DANN模型 input_layer = Input(shape=(7,)) shared = shared_layer(input_layer) source_specific = source_specific_layer(shared) target_specific = target_specific_layer(shared) output_layer = Concatenate()([source_specific, target_specific]) dann_model = Model(inputs=[input_layer], outputs=[output_layer]) ``` 接下来，我们需要定义损失函数。在 DANN 中，我们使用两个损失函数：源域损失和域分类损失。源域损失用于在源域数据上训练模型，而域分类损失用于在目标域数据上进行预测。 ```python # 源域损失 source_loss = 'mean_squared_error' # 域分类损失 def domain_loss(y_true, y_pred): # y_true: 1表示源域, 0表示目标域 # y_pred: 域分类器的预测 return K.mean(y_true * K.square(y_pred) + (1 - y_true) * K.square(1 - y_pred)) # 总损失 def total_loss(y_true, y_pred): return source_loss(y_true, y_pred[:, 0]) + domain_loss(y_true, y_pred[:, 1]) ``` 然后，我们可以编译模型，并在源域数据上训练模型： ```python # 编译模型 dann_model.compile(optimizer=Adam(lr=0.001), loss=total_loss, metrics=[source_loss, domain_loss]) # 训练模型 dann_model.fit(source_features, np.column_stack((source_target, np.zeros(len(source_target)))), epochs=100, batch_size=32) ``` 在模型训练完成后，我们可以使用目标域数据进行预测： ```python # 在目标域数据上进行预测 target_predictions = target_specific_layer.predict(target_features) ``` 然后，我们可以使用预测的目标值和实际目标值之间的均方误差来评估模型的性能： ```python # 计算目标域数据的均方误差 mse = np.mean(np.square(target_predictions - target_target)) print("目标域数据的均方误差为：", mse) ``` 这就是使用 DANN 进行风力发电预测的代码示例。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值