ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 论文解读

原创 已于 2023-05-18 16:43:14 修改 · 1.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #计算机视觉

于 2023-05-17 13:13:47 首次发布
本文介绍了论文ANOMALY TRANSFORMER，该论文提出利用Transformer结构进行时序异常检测。创新点包括计算Association Discrepancy评估异常和采用Minimax Strategy放大差异。通过Anomaly-Attention、Prior-Association和Series-Association，论文提出了一种适应不同时间序列模式的方法，增强了正常与异常序列的区分度。

最近又在做异常检测方面，所以这里记录一下比较经典的基于transformer的时序异常检测文章。

这篇文章是2022年的，算是比较新的，目前时序检测的新文章并不多，一方面这个时序异常检测在模型和计算上都不算难，再怎么创新也没什么太大水花，另一方面异常检测中的时序检测已经比较成熟了，大家更关注异常检测中的图像和音频之类的。

这篇论文的创新点有两个：

  1. 借鉴了transformer结构，提出了Prior-Association和Series- Association，计算Association Discrepancy，用以评估异常
  2. Minimax Strategy，用来放大Association Discrepancy

关于第一个创新点在上图

右边的框架就是仿transformer的，输入序列\chi \in R^{N\times d}, l\in \left \{ 1,...,L \right \}表明框架的层数，N为序列长度，d表示输入维度，总体计算：

Z^{l} = LayerNorm(AnomalyAttention(\chi ^{l-1}) + \chi ^{l-1})

最低0.47元/天 解锁文章
xuecaisun
关注
阅读笔记 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
一颗蚂蚱
11-30 1491
在无监督时间序列异常检测中，异常点的关联主要集中在它们相邻的时间点上，而不是整个时间序列。这种关联的局部集中性提供了一种天然的区分正常和异常时间点的标准。
论文研读 | Anomaly-Transformer：基于关联差异的时间序列异常检测方法
ST_group的博客
11-02 1986
本文是由清华大学2022年发表于ICLR会议的一篇文章，作者创新地提出了一种新的无监督时序异常检测模型——Anomaly Transformer，该模型在服务器监测、地空探索、水流观测等应用中均展现出了优秀的异常检测结果。
【时间序列异常检测】Anomaly-Transformer
博观约取，厚积薄发
05-20 7401
时间序列异常点的无监督检测是一个具有挑战性的问题，需要模型推导出一个可区分的判据。以往的方法主要通过学习点表示或成对关联来解决这个问题，但这两种方法都不足以对复杂的动力学进行推理。近年来，Transformers 在点向表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的 self-attention 权重分布可以体现出与整个序列的丰富关联。我们的重点观察是，由于异常非常罕见，很难建立从异常点到整个序列的有用的关联，因此异常关联主要集中在其相邻时间点上。这种 adjacent-concent
【时间序列异常检测】Anomaly Transformer
AI蜗牛车
08-20 4161
论文：ICLR2022 | Anomaly transformer: Time series anomaly detection with association discrepancy [1]作者：徐介晖，吴海旭，王建民，龙明盛机构：清华大学软件学院BNRist代码：https://github.com/thuml/Anomaly-Transformer录播：https://www.bilibi...
anomaly transformer文章解读
lyj19941231的博客
04-06 5497
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY 1.文章简介 文章发表在2022 ICLR上，被评为ICLR亮点文章，第一作者为清华大学一名硕士生，主要想解决的是时间序列数据上的异常检测问题，此方法适用于单维时间序列与多维时间序列。 2.创新点 文章的主要工作是通过正常点与异常点的关联差异性去解决异常检测问题，主要的创新点在于： 1）提出了一个区分关于正常点和异常点的判据，正常点与异常点在与时间
Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy【时序异常检测】
weixin_52250664的博客
12-20 1605
本文主要思想 ① 设计一种Anomaly Transformer with an Anomaly-Attention mechanism来量化prior-association以及series-association，并得到Association Discrepancy。 ② 随后利用minimax strategy来放大Association Discrepancy，以更好区分异常点与正常点。
Anomaly Transformer 解读
加油写代码
03-05 684
提出 “temporal association (series - association)” 建模时序结构，并引入“高斯核” 的 “prior - association”，通过二者间对比，从而捕获时序异常信息。
《异常检测——从经典算法到深度学习》21 Anomaly Transformer：具有关联差异的时间序列异常检测
热门推荐
Smileyan's blog
06-20 1万+
anomaly-transform
ANOMALY TRANSFORMER: TIME SERIES ANOMALY DETECTION WITH ASSOCIATION DISCREPANCY
bradyM的博客
03-19 1574
本文试图从一个全新的视角去分析时序异常检测。不同于之前的逐点建模的方式，我们想通过建模每个时刻与其他点的关系来作为每个时刻的特征，这样更具信息量，也就对应更方便进行检测。
论文复现 | Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
一颗蚂蚱
12-23 3154
日志级记录复现Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
Time-Series-Anomaly-Detection:关于时间序列数据分析的异常Ruby示例，用于检测异常值（异常）
05-05
时间序列异常检测 使用正态分布检测时间序列数据中的异常值的异常检测概念的证明。 这依赖于具有正态分布的数据，并使用概率来估计离群值。 用于统计分析的算法为和。
用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip
02-28
用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip 1、该资源内项目代码经过严格调试，下载即用确保可以运行！ 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程设计、期末大作业和毕设项目的学生、或者相关技术学习者作为学习资料参考使用。 3、该资源包括全部源码，需要具备一定基础才能看懂并调试代码。 用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip 1、该资源内项目代码经过严格调试，下载即用确保可以运行！ 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程设计、期末大作业和毕设项目的学生、或者相关技术学习者作为学习资料参考使用。 3、该资源包括全部源码，需要具备一定基础才能看懂并调试代码。 用于评估各类时间序列异常检测(Time Series Anomaly Detection) 算法的框架源码+项目说明.zip 1、该资源内项目代码经过严格调试，下载即用确保可以运行！
Time_Series_Anomaly_Detection：使用带有LSTM单元和自动编码器的RNN检测时间序列中异常数据点的案例研究
02-16
Time_Series_Anomaly_Detection：使用带有LSTM单元和自动编码器的RNN检测时间序列中异常数据点的案例研究
【时间序列异常检测】Anomaly Transformer论文笔记
Henry_Zhao10的博客
09-01 1704
本文是ICLR 2022 Spotlight论文Anomaly Transformer的阅读笔记
异常Transformer：具有关联差异的时间序列异常检测
weixin_45731480的博客
02-26 2199
时间序列中异常点的无监督检测是一个具有挑战性的问题，它要求模型推导出一个可区分的准则。以前的方法主要通过学习逐点表示或成对关联来解决这个问题，然而，这两种方法都不足以解释复杂的动力学。近年来，Transformers在点态表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的自注意权重分布能够体现出与整个序列的丰富关联。我们的关键观察是，由于异常的罕见性，从异常点到整个序列的非平凡关联是非常困难的，因此，异常的关联应主要集中在其相邻的时间点。
【无监督时间序列异常检测】2022-ICLR-Anomaly Transformer：具有关联差异的时间序列异常检测
weixin_42475026的博客
11-26 1244
时间序列中异常点的无监督检测是一个具有挑战性的问题，这需要模型导出可区分的标准。以前的方法主要通过学习点表示或成对关联来解决该问题，然而，这两种方法都不足以推理复杂的动态。最近，Transformers在点式表示和成对关联的统一建模方面表现出了强大的威力，我们发现每个时间点的自注意力权重分布可以体现与整个序列的丰富关联。我们的主要观察是，由于异常的稀有性，建立从异常点到整个序列的非平凡关联是极其困难的，因此，异常的关联将主要集中在其相邻时间点。
[时序异常检测]Anomaly Transformer算法详解
wlgtcl的博客
03-20 4056
因此最大阶段将对序列关联进行更强的约束，迫使时间点更加关注非相邻区域。在重构损失下，异常比正常时间点更难达到这一点，从而放大了关联差异的正常-异常可分辨性。在最大化阶段，我们对序列关联进行优化，扩大关联差异。解释：对于异常点，Gauss距离会关注附近的点，注意力也会如此，导致AssDis很小， 如果放大AssDis，则会使其关注较远的点。作者采用对称KL散度形式化先验关联和序列关联之间的关联差异，表示这两个分布之间的信息增益。，使先验关联适应不同的时间序列模式，主要用于匹配不同长度的异常时间段。
论文阅读---《Unsupervised Transformer-Based Anomaly Detection in ECG Signals》
qq_25368751的博客
08-07 3193
异常检测是数据处理中的一个基本问题，它涉及到医疗感知数据中的不同问题。技术的进步使得收集大规模和高度变异的时间序列数据变得更加容易，然而，为了确保一致性和可靠性，需要复杂的预测分析模型。随着收集数据的规模和维度的增加，深度学习技术，例如自编码器（AE）、循环神经网络（RNN）和长短期记忆（LSTM），受到越来越多的关注，并被认为是最先进的异常检测技术。最近，基于Transformer架构的发展被提出作为改进的注意力机制的知识表示方案。
Inpainting Transformer for Anomaly Detection阅读笔记
weixin_43540533的博客
04-29 2095
Inpainting Transformer for Anomaly Detection阅读笔记 Abstract CV中的异常检测任务是识别偏离一系列正常图像的图像的任务。一种常见的方法是训练深度卷积自动编码器来修复图像的覆盖部分，并将输出与原始图像进行比较。通过仅在无异常样本上训练，假设模型不能正确重建异常区域。假设较远区域的信息是有益的，所以提出一种完全基于self-attention的方法来解决。提出修复变换器(InTra)用来修复大序列图像块中的损坏区域。在MVTec AD数据集上实现了SOTA结
Feature Selection Enhanced Transformer for Multivariate Time Series Anomaly Detection
最新发布
11-16
目前给定引用中未直接提及“Feature Selection Enhanced Transformer for Multivariate Time Series Anomaly Detection”的应用、方法及研究现状。不过从相关引用可推测一些关联内容。 有提出一种新的用于时间序列异常检测的分解Transformer框架，采用信号分解与变压器相结合的方法进行异常检测，将复杂的时间模式分解为季节性、趋势、剩余三个组件并明确学习，还引入频率关注模块隔离和表示周期性，利用离散傅里叶变换和逆离散傅里叶变换提取主导周期模式，同时提出多视图嵌入方法捕获时间和相关特征，通过随机卷积和扩展卷积改进时间序列嵌入，最后应用重建和预测的联合优化在不同公共数据集上实现先进性能 [^3]。 在多变量时间序列异常检测中，特征选择增强的Transformer可能借鉴上述框架中的信号分解、频率关注、多视图嵌入等方法。信号分解有助于将复杂的多变量时间序列分解，明确各个组件特征；频率关注模块可分析不同变量时间序列的周期性特征；多视图嵌入方法能更好地捕获多变量之间的时间和相关特征。 ```python # 以下为假设的简单代码示例，模拟使用Transformer进行多变量时间序列异常检测 import torch import torch.nn as nn class TransformerAnomalyDetector(nn.Module): def __init__(self, input_dim, d_model, nhead, num_layers): super(TransformerAnomalyDetector, self).__init__() self.embedding = nn.Linear(input_dim, d_model) self.transformer_encoder = nn.TransformerEncoder( nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead), num_layers=num_layers ) self.decoder = nn.Linear(d_model, input_dim) def forward(self, x): x = self.embedding(x) x = self.transformer_encoder(x) x = self.decoder(x) return x ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值