IISGLab-优快云博客

原创异常检测论文解读|QuoVadisTAD:无监督时序异常检测未来的方向

批判性地分析了深度学习模型设计的不足，通过将复杂的深度学习模型线性化，证明即使简化后的模型也能保持相似的性能。呼吁TAD领域需要新的、更丰富的数据集，改进评价指标，对复杂模型保持谨慎态度，关注简单和可解释的方法。主要贡献：引入了简单有效的基线，并证明它们的性能与SOTA方法相当或更好，从而挑战了增加模型复杂性来解决TAD问题的效率和有效性。通过将训练的SOTA模型简化为线性模型来加强这一立场，线性模型是它们的蒸馏，但仍然表现良好。

2024-07-12 13:18:51 1311

原创时序特征提取论文解读|TSLANet: 重新思考用于时间序列表示学习的Transformers

Transformer在处理那些较小数据集的任务时，由于其较大的参数大小，这可能导致过拟合和计算效率低下的问题。自注意力机制对数据的噪声也敏感，同时不能很好的保存时间信息，因此在时间序列预测方面，单个线性层的表现惊人地优于复杂的Transformer架构。但是这样的线性层可能无法处理复杂的、有噪声的时间序列。论文从多层感知器(MLPs)和Transformer转向挖掘CNN操作在时间序列分析中的潜力。

2024-06-07 15:51:43 4140

原创多元时序预测论文解读|MCformer:通道混合的Transformer多元时间序列预测

在以前的模型中，主要使用通道依赖(CD)策略(其中每个通道代表一个单变量序列)。当前SOTA模型主要依赖于通道独立性(CI)策略。CI策略将所有通道视为单个通道，扩展数据集以提高泛化性能，并避免破坏长期特征的通道间相关性。然而，CI策略面临着信道间相关遗忘的挑战。为了解决这个问题，论文提出了一种创新的混合信道策略，将CI策略的数据扩展优势与抵消信道间相关遗忘的能力相结合。在此基础上，引入了具有混合信道特征的多元时间序列预测模型MCformer。

2024-04-17 15:30:37 1743

原创时间序列预测论文解读|AutoCon：基于自监督对比学习的长期预测

由于处理长序列的时间和内存复杂性，长期预测提出了独特的挑战。现行依赖于滑动窗口处理长序列的方法，在有效捕获那些部分落入短窗口内的长期变化（即外窗变化）时面临困难。在本文中，我们介绍了一种新的方法，克服了这一限制，采用对比学习和增强的分解架构，专门针对长期的变化。为此，我们的对比损失包含了整个时间序列中的全局自相关性，这有助于以自监督的方式构建正负对。当与我们的分解网络相结合时，我们的对比学习显著提高了长期预测性能。

2024-04-16 19:32:49 1555

原创多元时序预测论文解读|MTS-Mixers：通过分解时间和通道混合进行多元时间序列预测

具体来说，发现（1）注意力对于捕获时间依赖性不是必需的，（2）捕获时间和通道交互中的冗余会影响预测性能，以及（3）对输入和预测序列之间的映射建模很重要。最近，由于捕获了远程依赖关系，基于 Transformer 的模型在预测任务中显示出了巨大的潜力。这三个矩阵都是随机初始化的。对于时间维度的冗余性，将源时间序列拆分成多个子序列，每段子序列分别进行temporal信息的学习，然后再按原来的顺序拼接在一起。如下图，在时间维度上，对一个序列进行下采样，生成的新序列和原始序列保持着相似的趋势性、季节性。

2024-01-19 16:10:09 3107 1

原创自监督学习论文解读|TimesURL:用于通用时间序列表示学习的自监督对比学习

学习适用于各种下游任务的通用时间序列表示具有挑战性，但在实际应用中很有价值。最近，研究人员试图利用计算机视觉(CV)和自然语言处理(NLP)中自我监督对比学习(SSCL)的成功来解决时间序列表示问题。然而，由于特殊的时间特征，仅仅依靠其他领域的经验指导可能对时间序列无效，并且难以适应多个下游任务。1)设计正对增广方法，2)构造(难)负对，3)设计SSCL损耗。对于1)和2)，我们发现不适当的正负对构建可能会引入不适当的归纳偏差，这既不能保持时间性质，也不能提供足够的判别特征。

2024-01-05 11:10:19 1365 1

原创自监督学习论文解读|TimeDRL:多变量时间序列的解纠缠表示学习

在许多现实世界的应用程序(例如，医疗保健和工业)中，多变量时间序列数据信息丰富，但由于缺乏标签和高维，具有挑战性。最近在自监督学习方面的研究已经显示了它们在不依赖标签的情况下学习丰富表征的潜力，但它们在学习解纠缠嵌入和解决归纳偏差问题(例如，变换不变性)方面存在不足。为了解决这些挑战，我们提出了TimeDRL，这是一个通用的多元时间序列表示学习框架，具有解纠缠的双层次嵌入。(i)使用[CLS]令牌策略从修补的时间序列数据中分离出时间戳级和实例级嵌入的派生;

2023-12-22 11:25:19 363

原创异常检测论文解读|AMSL：基于自监督学习和自适应记忆网络的时间序列异常检测方法

在本文中，提出了一种新颖的具有自监督学习的自适应记忆网络（AMSL），通过解决上述两个挑战来提高无监督异常检测的泛化能力。为了应对有限的正常训练数据，AMSL包含了一个自监督学习模块，通过对时序信号进行多种变换的方式，丰富正常数据，实现数据增强，进行广义特征的学习，提高模型泛化性。为了应对有限的特征表示，AMSL引入了一种自适应记忆融合网络，分别通过全局和局部记忆模块学习正常数据的共有特征和特有特征，提升模型的特征表达能力。

2023-11-24 15:19:16 1289 1

原创异常检测论文解读|时序异常检测的无监督模型选择

背景：1.没有一种异常检测的方法是在各种数据集上都是最准确的，通常不同的数据集、不同的异常情况下选择的模型都不同。2.异常发生是在小概率情况下，因此标注困难，大量的时序异常检测方法是无监督或者半监督的。本文解决了这个问题：给定一个未标记的数据集和一组候选异常检测模型，如何选择最准确的模型?

2023-08-28 09:22:11 709 1

原创对比学习论文解读|MR-MAE：用特征模拟增强屏蔽自动编码器

掩模自编码器(MAE)是一种流行的大规模视觉表征预训练方法。然而，MAE仅在解码器之后重建低级RGB信号，缺乏对编码器高级语义的监督，因此存在次优学习表征和较长的预训练时间。为了缓解这一问题，以前的方法只是用预训练图像(DINO)或图像语言(CLIP)对比学习的编码特征替换75%的掩码标记的像素重建目标。与这些研究不同的是，我们提出了先模仿后重建的掩膜自编码器，称为MR-MAE，它在预训练过程中不受干扰地共同学习高级和低级表征。

2023-08-08 09:06:38 362

原创对比学习论文解读|ConvMAE:屏蔽卷积与屏蔽自动编码器相遇

视觉变压器(Vision transformer, ViT)已成为广泛应用于各种视觉任务的架构。用于特征预训练的掩膜自编码和多尺度混合卷积-变压器架构可以进一步释放ViT的潜力，从而在图像分类、检测和语义分割方面取得最先进的性能。在本文中，我们的ConvMAE框架证明了多尺度混合卷积-变压器通过掩码自编码方案可以学习更多的判别表示。然而，直接使用原始掩蔽策略会导致计算成本高和预训练微调差异。为了解决这个问题，我们采用了掩码卷积防止卷积块中的信息泄漏。为了保证计算效率，提出了一种简单的逐块屏蔽策略。

2023-07-31 21:12:57 246 1

原创对比学习论文解读|TS-TCC：基于时间和语境对比的时间序列表征学习

从具有时间动态的未标记时间序列数据中学习合适的表示是一项非常具有挑战性的任务。在本文中，我们提出了一个通过时间和上下文对比(TS-TCC)的无监督时间序列表示学习框架，从未标记的数据中学习时间序列表示。首先，使用弱增强和强增强将原始时间序列数据转换为两个不同但相关的视图。其次，我们提出了一个新的时间对比模块，通过设计一个严格的跨视图预测任务来学习鲁棒的时间表征。最后，为了进一步学习判别表征，我们提出了一个基于时间对比模块的语境对比模块。

2023-07-16 19:01:50 949 4

原创异常检测论文解析|COUTA：无监督时序异常检测的校准单类别分类

利用one-class进行无监督时间序列异常检测一般依赖于学习正常数据的特征。然而，这种学习过程面临两个关键挑战:（1）训练集中存在未知异常。因为整个训练集通常通过直接假设训练集中的所有观测值都是正常的而被输入到单类分类模型中，学习过程可能会因隐藏在训练集中的异常（即异常污染）而产生偏差。异常污染会极大地干扰学习过程，从而导致严重的过拟合。（2）缺乏对于异常的了解。在不了解真正异常的情况下，学习过程可能会发现不准确的正常边界，因为在这种情况下很难定义正常行为的范围。

2023-07-10 09:53:25 393 1

原创自监督学习论文解读|SimMIM：一个用于掩模图像建模的简单框架

本文介绍了SimMIM，这是一个用于掩模图像建模的简单框架。我们简化了最近提出的相关方法，而不需要特殊的设计，例如通过离散VAE或聚类进行分块掩蔽和标记化。为了研究是什么使掩蔽图像建模任务学习良好的表示，我们系统地研究了我们框架中的主要组件，并发现每个组件的简单设计都揭示了非常强的表示学习性能：1）对具有适度大的掩蔽补丁大小的输入图像进行随机掩蔽，可以生成强大的文本前任务；2）通过直接回归预测原始像素的RGB值并不比具有复杂设计的补丁分类方法差；3）预测头可以像线性层一样轻，性能不会比较重的预测头差。

2023-07-03 09:48:50 421 1

sinat_38225756的博客