Data Augmentation techniques in time series domain: A survey and taxonomy

本文是对《Data Augmentation techniques in time series domain: A survey and taxonomy》的翻译。

摘要

随着深度学习生成模型的最新进展,利用它们在时间序列领域的出色表现并不需要很长时间。用于处理时间序列的深度神经网络在很大程度上依赖于用于训练的数据集的广度和一致性。这些类型的特征在现实世界中通常并不丰富,它们通常是有限的,并且通常具有必须保证的隐私约束。因此,一种有效的方法是使用数据增强(DA)技术,通过添加噪声或置换以及生成新的合成数据来增加数据的数量。它系统地回顾了该领域的最新技术,概述了所有可用的算法,并提出了最相关研究的分类。将评估不同变体的效率;作为过程的一个重要部分,将分析评估性能的不同指标以及与每个模型相关的主要问题。这项研究的最终目标是提供一个关于产生更好结果的领域的发展和表现的总结,以指导该领域的未来研究人员。

1. 引言

自深度学习(DL)出现以来,研究和工业界的一项重要工作就是解决和改进监督训练任务。监督学习需要具有各种特征的数据集,其中每个样本都必须标记。使用监督学习技术解决的最具代表性的问题是分类、回归和结构化模式输出问题。
传统上,用于监督任务的机器学习(ML)模型属于区分模型类别。区分建模与监督学习同义,或使用标记数据集学习将输入映射到输出的函数。从形式的角度来看,区分建模估计 p ( y ∣ x ) p(y|x)

### 数据增强中的自监督与自蒸馏 在机器学习领域,数据增强技术通过引入额外的变化来扩充训练集,从而提高模型的泛化能力。当涉及到自监督(self-supervision)和自蒸馏(self-distillation),这些方法提供了一种新颖的方式来改进模型性能。 #### 自监督学习的作用 自监督学习是一种无标签的学习范式,在这种框架下,算法能够从未标注的数据集中自动创建任务并解决它们,进而获得有用的特征表示[^1]。对于图像分类而言,自监督对比学习可以有效地利用大规模未标记数据,提升下游任务的表现。具体来说,该类方法通常会设计预文本任务(pretext task), 如预测旋转角度或着色灰度图片等,以此作为代理目标(proxy objective)引导网络提取更具辨识力的信息。 #### 自蒸馏的概念及其应用价值 自蒸馏指的是教师-学生架构内部的知识传递过程,其中同一个神经网络既扮演老师又充当学生的角色。在这个过程中,较深/宽版本的自己向更浅薄版传授经验教训;后者则试图模仿前者的行为模式,即使两者结构相同也可以实现这一点。这种方法有助于缓解过拟合现象,并促使模型专注于更加鲁棒且通用化的特性描述。 #### 结合二者的研究进展 一些前沿工作探索了如何将上述两种策略结合起来用于强化数据增广的效果。例如,在多实例学习环境中采用双流架构处理整张幻灯片影像时,就融入了基于自监督机制下的对比损失函数以及自蒸馏带来的正则项约束条件。这不仅增强了系统的表达能力和稳定性,还促进了不同尺度间上下文关联性的捕捉。 ```python import torch.nn as nn class DualStreamNetwork(nn.Module): def __init__(self, base_model): super(DualStreamNetwork, self).__init__() # Define the teacher-student structure with shared weights initially. self.teacher = base_model() self.student = base_model() def forward(self, x): t_out = self.teacher(x) s_out = self.student(x) return t_out, s_out def contrastive_loss(t_output, s_output): """Implementing a simple version of NT-Xent loss.""" pass ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值