EAAI开源代码推荐 | 基于平衡域自适应的种子替换深度迁移回归方法

论文基本信息

论文题目：A deep transfer regression method based on seed replacement considering balanced domain adaptation

代码链接：

https://github.com/ZhangTeng-Hust/DTRSR/tree/main

1 摘要

随着深度迁移学习的发展，模型在相似场景下的泛化能力显著提升。然而，针对回归任务，现有方法往往忽略边缘分布或条件分布的适配性。此外，由于过度依赖损失函数自动学习，领域知识的表征与学习过程缺乏主动性。本文提出一种基于种子替换的深度迁移回归方法（Deep Transfer Regression Method based on Seed Replacement, DTRSR）。DTRSR由四部分组成：结构冻结与参数迁移、深度特征提取、种子替换以及融合损失函数。先通过结构冻结和参数迁移在模型层面获得领域知识，然后在数据层面利用种子替换进行源域与目标域的知识学习，最后构建基于平衡分布适应的融合损失函数。此外，种子替换提升了知识学习的主动性，不再只依赖损失函数自动学习。研究在刀具磨损、电池容量数据集上，使用所提出的DTRSR与九种对比方法进行实验验证。结果表明，该方法在多数任务中性能优异，证实了其在回归任务中的有效性与应用潜力。

关键词：深度迁移学习，回归，种子替换，平衡域自适应

2 引言

模型泛化性能差与数据需求量大是智能学习算法面临的两大核心挑战。针对上述问题，迁移学习应运而生。与传统智能算法不同，该方法充分考虑领域分布差异特性。根据目标域数据的可用性，迁移学习可分为两类：域适应和域生成。域适应更常用于实际应用场景，其通过少量目标域标注样本，实现源域知识向目标域的迁移。迁移学习主要应用于分类任务领域，近年来，由于工程领域对数值预测需求的增长，越来越多的研究聚焦于迁移学习在回归任务中的应用。该方法在频率响应预测、刀具磨损预测等回归任务中取得显著成效。

然而，针对数据分布差异问题，现有方法通常假设边缘分布差异与条件分布差异中的某一项相似，而仅关注另一项的适配。例如，Wang等人在铣削力预测中通过关注边缘分布差异实现适配，Liu等人在设备健康预测中针对条件分布差异进行建模，根据以上讨论，将研究差距归纳如下：

现有回归任务的研究未同时关注边缘分布与条件分布，导致领域知识学习不充分。
模型训练仅依赖损失函数，对领域知识学习与表征缺乏主动探索。

针对上述研究，本文提出基于种子替换的深度迁移回归方法（Deep Transfer Regression Method based on Seed Replacement, DTRSR），构建面向回归任务的平衡分布适应损失函数，实现领域知识的充分学习，通过种子替换结合聚类技术实现领域知识的主动表征与学习。主要的贡献如下：

通过平衡域适应损失函数同步度量边缘分布差异与条件分布差异，实现领域知识的充分学习。
采用种子替换技术，以聚类结构与聚类中心形式融合源域—目标域知识，实现领域知识的主动学习。
提出DTRSR方法，从模型架构、数据表征和损失函数三方面构建充分且主动的回归任务学习框架。

全文其余部分具体安排如下：第2节，综述迁移学习与回归任务领域相关研究。第3节，详述域适应理论、种子替换技术及DTRSR方法实现流程。第4节，基于三组数据集的实验设计与结果展示。第5节，实验结果分析与讨论。第6节，总结研究结论并展望未来方向。

3 相关工作：表征学习

随着迁移学习的发展，学术界日益关注什么是迁移和知识是如何呈现的两个问题。知识表征不局限于特征选择与神经网络自动提取，新的方法有：从数据结构的视角来表示领域知识成为新兴范式。基于图的域适应方法利用图结构的拓扑特性实现知识表征与学习，以及通过标签函数谱理论，实现图形式跨域知识迁移。除了上述方法外，还有许多基于聚类的知识表示和学习方法，该方法不是关注单个样本，而是应用聚类来研究整个数据集，通过基于聚类的全局分析以及聚类结构实现知识表征与存储，并通过聚类中心匹配与局部流形自学习，获得目标域特征。为提升知识学习主动性，突破传统损失函数依赖，本文提出基于聚类的知识表征方法，通过聚类结构实现从被动优化到主动知识构建的范式转变，融合全局聚类模式与局部流形特征的多粒度知识表达。

4 方法

4.1 问题描述

迁移学习定义：在迁移学习中，通常定义源域与目标域两组数据，而非传统的训练集/测试集划分。源域数学公式表示为：

其中，为源域样本特征向量，为对应标签，为样本数量，所有样本均带标签，且数量充足（可训练鲁棒模型）。目标域数学公式表示为：

其中，含个带标签样本，其余为无标签样本。所研究问题的挑战在于，有标记样本太少而无法训练鲁棒模型，并且目标域和源域在边际分布和条件分布方面存在差异，这在工程领域是常见的。分布满足：和。

4.2 平衡分布自适应方法框架

本文研究了两个域之间边缘分布和条件分布不同的问题。为了同时考虑边缘分布差异和条件分布差异，将分类任务中的策略应用于回归任务，计算和的加权和表达式如下：

其中，是平衡因子，用来控制两类分布差异的权重。当 →1时，则应更多地关注边缘分布差异。当→0时，则域之间的边缘分布差异几乎可以忽略不计，但条件分布差异占主导地位，应更多地关注条件分布差异。可以通过在 [0,1] 区间内以 0.1 的间隔采样来确定。此外它还可以通过随机猜测或最大最小平均法确定。

4.3 种子替换

图1 种子置换过程（以C1-C4迁移任务为例）：

(a)源样本和标记的目标样本;（b）第一部分：聚类;（c）第二部分：匹配;（d）第三部分：替换。

种子样本是目标域中少量带标签的样本，用于引导迁移过程，公式可以表示为：

种子替换是DTRSR算法的一部分。以刀具磨损数据集中的C1-C4任务为例进行数据分布可视化，描述种子替换的过程，使用t-SNE在3D特征空间降维。图1(a)中红色圆点为源域数据，蓝色圆点为带标签目标样本。

在该实现中，首先通过k_means++将源域聚类到多个类中，其中多个类是标记的目标样本的数量，如图1（b）所示。聚类中心为，距离矩阵可以表示为：

接下来对距离矩阵按列进行最小化操作。当前聚类中心与已标记目标样本之间的对应关系通过下式确定：

其中，表示欧氏距离，已标记目标样本与聚类中心的对应关系可表示为：

随后，计算每个源域样本与其对应聚类中心的偏差，得到：，构造一个与源域数据，同态的零矩阵，并根据对应关系，将叠加到对应的目标数据上。种子替换的伪代码详见算法1。

算法1 种子替换

4.4 所提出方法框架

图2 拟定方法的流程图：(a)结构冻结和参数传递;(b)深度特征提取;©种子替换;(d)融合损失函数

本节提出深度迁移回归种子替换方法。图2展示了DTRSR的流程图。从结构上看，该方法包含四个核心模块：(a)结构冻结与参数迁移，(b)深度特征提取，©种子替换以及(d)融合损失函数。由于深度特征提取模块仅用于从原始传感器数据中提取高维特征。其余三个模块的具体实现如下所述。

4.4.1 结构冻结与参数迁移

在深度神经网络中，浅层网络负责通用特征提取，深层网络则与任务相关特征相关联。DTRSR框架中，浅层对应卷积块，深层对应附加在卷积块上的全连接层。

采用预训练与微调策略将知识从源域迁移至目标域。具体而言，源域预训练模型中卷积块的参数在模型训练过程中被冻结并保持固定，而源域模型全连接层的参数将作为目标模型的初始参数，如图2(a)所示。

4.4.2 融合损失函数

完成结构冻结与参数迁移后，全连接层参数可通过微调策略进行学习。然而，本文研究的原始数据为传感器测量的时间序列信号，需通过卷积块提取通用特征,如图2(b)所示。本文选取第一个全连接层后的中间输出作为提取的特征数据，并对其应用种子替换操作如图2©所示。本文损失函数由三部分组成。第一部分为标记目标样本与种子替换后新数据集的均方误（MAE）回归损失，其表达式为:

其中，表示从提取特征到标签的映射函数。

将种子替换后新数据集的回归损失纳入损失函数的原因是：新数据集既包含以聚类结构形式存在的源域知识，又包含以聚类中心形式存在的目标域知识。因此，该部分回归损失可使模型有效融合两域特征，更充分地继承源域与目标域的知识。

此外，为对齐新数据集与标记目标样本间的边际分布差异，量化边际分布差异损失：

类似地，为对齐标记目标样本与未标记目标样本间的条件分布差异，量化条件分布差异损失：

通过上式，目标域中的标记样本可以准确表示所有目标域样本的分布。对边际分布差异和条件分布差异损失进行加权，得到整体平衡域适应损失：

综上所述，融合损失函数可表示为：

它由三个部分组成，即回归损失、平衡域适应损失和 L2 正则化，后者用于防止过拟合。和是权衡参数，用于调整回归损失和平衡域适应损失之间的大小关系，以防止模型训练朝着数值过大的方向发展；是正则化系数。

4.4.3 融合损失函数

在模型微调过程中，按照上述描述，卷积块 𝐶𝑜𝑛𝑣𝑆 的参数被冻结并迁移到目标模型。只有全连接层的参数从 𝐹𝑐𝑆 更新到 𝐹𝑐𝑇，通过最小化融合损失函数来实现，如公式所示。DTRSR 的伪代码在算法 II 中给出。

算法2 DTRSR

5 实验结果

5.1 数据描述和迁移任务定义

5.1.1 刀具磨损

刀具磨损数据集来自2010年PHM挑战赛。提供了加工过程中六种不同刀具的原始数据，但只有三种刀具被标记，即C1、C4和C6。原始数据集中的传感信号以50 kHz的频率采样，包括铣削力信号x、y和z方向的振动信号以及加工过程中的声发射信号。在本文中，三个方向的铣削力信号被用作模型的输入，每个刀具的三个刀片的平均磨损值被选作输出，以构建迁移任务。

5.1.2 电池容量

电池容量数据集由NASA Ames研究中心的卓越预测中心构建，所有电池老化都是通过在室温下对电池进行多周期充放电实验来加速的。在电池运行过程中，收集了电压、电流和电池容量随时间变化等传感数据。选择NO.5，NO.6和NO.7电池放电阶段的电压传感数据作为输入，电池容量作为输出，以构建迁移任务。

表1 本文所完成的迁移任务摘要

图3 两个公开数据集的分布差异矩阵。

(a)工具磨损数据集的边际分布差异;

(b)工具磨损数据集的条件分布差异;

©工具磨损数据集的边际分布差异和条件分布差异总和;

(d)电池容量数据集的边际分布差异;

(e)电池容量数据集的条件分布差异;

(f)电池容量数据集的边际分布差和条件分布差之和

两个研究的数据集构建了12个迁移任务，如表1所示。每个数据集的输入和标签及其维度也在表1中进行了总结。这12个迁移任务用于比较各种方法的性能。近似计算每个数据集中任务的边缘分布差异和条件分布差异，分布差异矩阵如图3所示。每个方格代表两个对应任务之间的分布差异。由于分布差异的存在，非对角线的单元格以不同的颜色显示。

若一个方块的颜色不是蓝色，则两个对应任务之间存在分布差异，且该差异与具体数值无关。因此可以得出结论：所研究的三个数据集在边际分布和条件分布方面均存在差异。必须同时考虑边际分布差异和条件分布差异。

5.2 对比方法

5.2.1 与其他方法的对比

为客观、准确地评估DTRSR的性能，选取了九种方法进行对比。这些方法可分为三类：一种基准方法、五种消融实验方法以及三种最先进的方法。具体描述如下：

直接预测（Predict directly, PD）指直接使用训练好的源模型对目标任务进行预测，该方法被定义为基准方法。

五种消融实验定义如下：

（1）重新训练模型（Re-training the model, RT）：选取目标域中少量标注样本从头训练新的回归模型。

（2）微调全连接层（Fully Connected Layers, FC）：迁移训练好的源模型参数，并基于少量目标域标注数据微调全连接层参数，仅考虑回归损失。

（3）边缘分布适配：在微调全连接层时，仅将边缘分布差异加入损失函数。

（4）条件分布适配：在微调全连接层时，仅将条件分布差异加入损失函数。

（5）平衡分布适配：在微调全连接层时，对边缘分布差异和条件分布差异进行加权后加入最终损失函数。

三种最先进的方法描述如下：

迁移成分分析：基于最大均值差异进行高维特征映射，随后使用传统机器学习方法预测目标域任务。

深度适配网络（Deep Adaptation Network, DAN）：在全连接层采用多核MMD技术，以适配不同域间的分布差异。

两阶段TrAdaBoost.R2：通过自适应样本权重更新策略和基于Boosting的算法学习目标域知识。

通过五项消融实验与基线方法对比，验证各模块有效性。这三种SOTA方法分别涵盖：基于特征的迁移学习，基于模型的迁移学习，基于样本的迁移学习，用于验证DTRSR方法的性能。对于无法处理原始数据的模型，论文采用预训练模型卷积块提取的高维特征。采用以下指

标评估方法性能：使用目标域预测任务的平均绝对误差，平均绝对百分比误差，均方根误差，决定系数。当R²越接近1，MAE/MAPE/RMSE值越小表示性能越优。当R²小于0时，预测结果劣于均值预测。

5.2.2 参数设置

表2 每个数据集的预训练模型的结构

由于不同数据集的数据特征不同，我们分别定义了不同的模型结构（如表2所示）。同一数据集中的不同任务采用相同模型结构，以确保结果的可比性。除了结构差异外，超参数设置对所有方法的性能至关重要。针对本文研究的数据集：

边际分布核函数通过搜索最优σ值（在[0.5,1.5]范围内以0.1为步长）选定为，其中核函数形式为，条件分布核函数采用；参数统一设置为1；学习率在预训练阶段分别设为2e−2、2e−3和2e−2，微调阶段设为2e−3、2e−4和2e−3；正则化系数分别设为1e−4、1e−4和1e−5；训练轮数统一设为100；超参数、、分别通过[0.1,1]、[100,1000]和[0,1]区间搜索确定，取1、0.9、0.3（步长0.1），取200、300、500（步长100），取0.1、0.2、0.2（步长0.1），最终选用Adam优化器最小化融合损失函数。

5.3 模型预测结果

表3 DTRSR在18项任务中的平均结果

为验证DTRSR在回归任务中的有效性，每个任务通过随机选取不同标记目标样本进行10次实验。表3展示了DTRSR的平均结果（最优结果以粗体标注）。

图4.不同方法对18项任务的平均MAE，

包括（a）工具磨损、（b）电池容量

此外，图4对比了所有方法在12个任务上的平均MAE（平均绝对误差）。

6 结论

本文提出了一种基于种子替换的深度迁移回归方法DTRSR，该方法采用平衡域适应策略。首先，通过结构冻结和参数传递，在模型级将源域的知识传递到目标域。其次，通过种子替换在数据级主动继承源域和目标域的知识。最后，在融合损失函数中加入考虑边缘分布差异和条件分布差异的均衡分布自适应，在损失函数层面实现了对领域知识更充分的学习。总之，领域知识是积极和充分的学习，通过DTRSR在模型，数据和损失函数的水平。

DTRSR已在两个公共数据集（刀具磨损和电池容量）上进行了验证，并在12个任务中的大多数任务上实现了最佳性能，这验证了其在回归任务中的有效性和巨大潜力。此外，对结果的分析表明，DTRSR在性能稳定性和效果显著性方面具有很大的优势，预示着DTRSR在相关工程领域应用的巨大可能性和前景。

然而，DTRSR在模型时间消耗和噪声数据鲁棒性方面存在一些局限性。在未来的研究中，我们将对DTRR的结构进行优化，以减少训练时间，并分析噪声对模型性能的影响。此外，我们将继续探索更多领域知识学习方法的可能性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述