博观约取，厚积薄发

异常检测是建立安全可靠系统的关键步骤。系统日志的主要目的是记录系统状态和各种关键时刻的重要事件，以帮助调试系统故障和执行根本原因分析。这种日志数据在几乎所有的计算机系统中都是普遍可用的。日志数据是理解系统状态和性能问题的重要而有价值的资源;因此，各种系统日志自然是在线监测和异常检测的良好信息源。我们提出 DeepLog，一种利用长短期记忆(LSTM)的深度神经网络模型，将系统日志建模为自然语言序列。这允许DeepLog从正常执行中自动学习日志模式，当日志模式偏离 从正常执行下日志数据训练的模型 时，检测异.

异常检测是一个应用领域广泛的问题，它涉及到识别新的或意外的观测数据或序列被捕获的数据。目前的大多数异常检测方法都是针对个别用例的，需要专家对该方法以及应用该方法的情况有一定的了解。物联网作为一个快速发展的领域，为实施这类数据分析提供了许多机会，然而，由于物联网的性质，这可能是困难的。本文介绍了将异常检测技术应用于物联网数据时可能遇到的挑战的背景，并列举了文献中物联网异常检测应用的例子。我们讨论了在不同领域开发的一系列方法，而不限于物联网(由于该应用的相对新颖性)。最后，我们总结了当前在异常检........

Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy 复现

深度学习最近在许多时间序列分析任务中表现得非常好。深度神经网络的优越性能很大程度上依赖于大量的训练数据来避免过拟合。然而，许多现实世界的时间序列应用的标记数据可能是有限的，如医学时间序列的分类和 AIOps 的异常检测。作为提高训练数据规模和质量的有效方法，数据增强是深度学习模型成功应用于时间序列数据的关键。本文系统地回顾了不同的时间序列数据增强方法。我们建议对这些方法进行分类，然后通过强调它们的优点和局限性，对这些方法进行结构化审查。我们还实证比较了不同的数据增强方法的不同任务，包括时间序列分类，异常检测

定位网络故障的根本原因对网络的运行和维护至关重要。然而，由于复杂的网络架构和无线环境，以及有限的标注数据，准确定位真正的根源是具有挑战性的。在本文中，我们提出了一种新的算法NetRCA来处理这个问题。首先，我们从原始数据中提取有效的衍生特征，考虑时间、方向、属性和交互特征。其次，我们采用多元时间序列相似度和标签传播的方法，从有标签和无标签的数据中生成新的训练数据，以克服有标签样本的不足。再次，我们设计了一个结合XGBoost、规则集学习、属性模型和图算法的集成模型，以充分利用所有数据信息，提高性能。最后，对

Kaggle 时间序列教程把这里的时间称为：时间虚拟变量(time dummy)，因为这是假的时间。 这里是滞后一步，这里的线性回归就是根据前一个值预测现在的值。 时间序列的趋势部分表示该序列平均值的持续、长期变化。 趋势是一系列中移动最慢的部分，代表了最大时间尺度的重要性。 一个序列中任何持续的和缓慢移动的变化都可能构成一个趋势——例如，时间序列通常具有变化的趋势。 要查看时间序列可能具有什么样的趋势，我们可以使用移动平均图。 为了计算时间序...

先看论文中的图：直接看代码：本文以 queries, keys, values 的shape：[32, 96, 4, 128] 说明。显然， fft 并没有可说的。主要关注的在 time_delay_agg_training 函数。上图，假设top_k = 2， 序列长度 = 10。该模型更新完毕。更多参考：请参考前文论文阅读部分的参考文献。作者回答了为什么用 torch.roll 。使用 top_k的目的还是降低计算复杂度。...

Aotoformer 代码详解之[3]模型整体架构分析

本文介绍了 M4预测比赛 的获奖作品。该提交利用了一个动态计算图神经网络系统，使标准指数平滑（ Exponential Smoothing-ES）模型与先进的 LSTM 网络混合到一个共同的框架。结果是一种混合层次预测方法。 关键词:预测比赛，M4，动态计算图，自动微分，LSTM网络，指数平滑 在过去的几十年里，神经网络(NNs)以及其他机器学习(ML)算法在各个领域取得了显著的成功，其中包括图像和语音识别、自然语言处理(NLP)、自动驾驶汽车和游戏(Makridakis, 20

论文链接：http://xxx.itp.ac.cn/pdf/2106.13008.pdfAbstract延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种 self-attention 机制来发现长期依赖关系。然而，长期未来的复杂时间模式使基于 Transformer 的模型无法找到可靠的依赖关系。此外，Transformers 必须采用稀疏版本的 point-wise self-attention..

Autoformer 时间序列分解策略基于移动平均

Aotoformer 长时序列预测代码详解之数据预处理及数据读取

最近，基于Transformer 的时间序列预测(TSF)任务解决方案激增，特别是具有挑战性的长期TSF问题。Transformer 架构依靠 self-attention 有效提取长序列中成对元素之间的语义关联，这种关联具有一定的排列不变性和“反排序”特性（permutation-invariant and “anti-ordering”）。然而，在时间序列建模中，我们要提取连续点的有序集合之间的时间关系。因此，基于Transformer 的技术是否是“长期”时间序列预测的正确解决方案是一个值得研究的有趣

论文链接：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting.摘要许多真实世界的应用需要对长序列时间序列进行预测，如用电规划。长序列时间序列预测(Long sequence time-series forecasting LSTF)对模型的预测能力提出了很高的要求，即能够有效地捕捉输出和输入之间精确的长期依赖耦合（long-range dependency coupling）。最近的研...

时间序列异常点的无监督检测是一个具有挑战性的问题，需要模型推导出一个可区分的判据。以往的方法主要通过学习点表示或成对关联来解决这个问题，但这两种方法都不足以对复杂的动力学进行推理。近年来，Transformers 在点向表示和成对关联的统一建模方面表现出了强大的能力，我们发现每个时间点的 self-attention 权重分布可以体现出与整个序列的丰富关联。我们的重点观察是，由于异常非常罕见，很难建立从异常点到整个序列的有用的关联，因此异常关联主要集中在其相邻时间点上。这种 adjacent-concent

本文是李宏毅视频的笔记1. 异常检测定义？给定一组训练数据找到一个函数检测 输入 x 是否相似于训练数据。不同的方法使用不同的方式决定相似性。2. 应用领域Fraud(欺诈)Detection Training data: 正常刷卡行为, 𝑥x: 盜刷？ Ref: https://www.kaggle.com/ntnu-testimon/paysim1/home Ref: https://www.kaggle.com/mlg-ulb/cre...