Graph Neural Network-Based Anomaly Detection in Multivariate Time Series 代码配置及解析

已于 2024-07-09 11:00:28 修改
阅读量2.6k 收藏 34
点赞数 9
分类专栏： 研究生机器学习 文章标签： 深度学习 pytorch python
于 2022-07-20 23:06:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cloudless_sky/article/details/125264268
版权

可以在GPU上跑通的代码（含数据集），我已经放到了以下链接，
代码：
链接: https://pan.baidu.com/s/1_OKVH_UUwigVWOvdDVC_ig 提取码: 8a2z 复制这段内容后打开百度网盘手机App，操作更方便哦
数据集：
链接: https://pan.baidu.com/s/10ssrweMjrYBtNEIv4guE7A 提取码: 59qp 复制这段内容后打开百度网盘手机App，操作更方便哦
注意：我用的wadi数据集是删掉了几个归一化后列全为0的列，和原文不太一样；SWAT数据集是和原文一致的。

在服务器上跑
先创建一个虚拟环境
conda create -n GDN python==3.7
conda activate GDN

按照read me一步一步安装包。

### Requirements
* Python >= 3.6
* cuda == 10.2
* [Pytorch==1.5.1](https://pytorch.org/)要去这个网站复制下载命令
* [PyG: torch-geometric==1.5.0](https://pytorch-geometric.readthedocs.io/en/latest/notes/installation.html)

### Install packages

# run after installing correct Pytorch package
bash install.sh

安装
pip install scikit-learn==1.0.2
              matplotlib == 3.1.1
             numpy == 1.19.4
             pandas == 0.25.1

bash run.sh cpu swat

最低0.47元/天 解锁文章
图神经网络(Graph Neural Networks) 原理与代码实例讲解
AI天才研究院
10-07 1564
图神经网络(Graph Neural Networks) - 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 图神经网络，GNN，图表示学习
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series 综述
weixin_42358688的博客
09-14 1万+
原文链接：https://arxiv.org/abs/2106.06947 代码链接：GitHub - d-ailin/GDN: Implementation code for the paper "Graph Neural Network-Based Anomaly Detection in Multivariate Time Series" 摘要： 最近，深度学习方法使高维数据集异常检测的改进成为可能;然而，现有的方法并没有明确地学习变量之间现有关系的结构，也没有利用它们来预测时间序列的预期行为。我
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
小蚂蚁与大象
08-07 660
给定高维时间序列数据(如传感器数据)，我们如何检测异常事件，如系统故障和攻击?更具有挑战性的是，我们如何以捕捉复杂的传感器间关系的方式来做到这一点，并检测和解释偏离这些关系的异常?最近，深度学习方法使高维数据集的异常检测成为可能;然而，现有的方法没有明确地学习变量之间现有关系的结构，也没有使用它们来预测时间序列的预期行为。该方法将结构学习方法与图神经网络相结合，另外使用注意力权重为检测到的异常提供可解释性。在两个具有真实异常的真实传感器数据集上的实验表明，所提出方法比基线方法更准确地检测异常，准确捕获传感器
论文笔记--Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
chenxino的博客
09-24 2594
Graph Neural Network-Based Anomaly Detection in Multivariate Time Series Summary 给定多元时序数据（传感器数据），如何检测异常事件（系统错误或者被攻击）？怎样捕获传感器之间复杂关系，解释异常偏离了那些关系？现有的方法没有明确学习变量之间关系结构，用它们预测事件序列的预测行为。作者结合结构学习方法和图神经网络，用注意力权重为检测到的异常提供解释。 Problem Statement 挑战 将图神经网络用于时序数据的异常检测需要
【读论文】Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
qq_42757191的博客
08-16 3913
为了充分利用多元时间序列中传感器之间的复杂关系，利用图神经网络（GNNs）来学习传感器之间的关系图。现有的方法没有明确地学习变量之间现有关系的结构，或使用它们来预测时间序列的预期行为。基于图的方法通过用边表示相互依赖关系，为传感器之间的关系建模提供了一种方法。：为多元时间序列数据开发特定的方法，明确地捕获传感器之间的关系图。...
multivariate time series anomaly detection survey
热门推荐
idevede的博客
05-07 1万+
Detecting spacecraft anomalies using lstms and nonparametric dynamic thresholding (Hundman et al. [2018])---宇航员，开源，将多通道分成单通道。 本文创新之处有两个：提出一种动态、无监督的确定阈值的方法；重新判定是否异常以减少误报率。   本文只向后预测一步，并且只预测一个维度，收集每一步的...
《Anomaly Detection in Dynamic Graphs viaTransformer》论文解读
weixin_46475177的博客
08-29 1090
动态图的异常检测由于其在社交网络、电子商务和网络安全中的广泛应用而引起越来越多的关注。最近基于深度学习的方法已经显示更优异的结果。然而，它们未能解决动态图中异常检测的两个核心挑战：缺乏。
整理研究方向（1）【未完成】
qq_35780315的博客
07-26 2617
整理从交通流量预测发展到其他方向的团队文章，并研究调研我们可以研究的方向
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 4186
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
【论文解读】Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
m0_67738271的博客
03-24 2089
为了实现这个，基于预测的方法，在t时刻，定义一个大小为w的滑动窗口大小的输入数据X，预测的输出是当前时刻的传感器的数据。将N个节点的聚合表示和嵌入向量相乘，作为堆叠全通层的输入，用来预测t时刻传感器的值，即公式9得到传感器的预测值。N(i)指的是从邻接矩阵里面获得的i的邻居信息，j是i的邻居。这些嵌入向量是随机初始化的，随着模型的其他部分长期训练，这些嵌入向量的相似性就会代表着传感器之间的相似性。首先计算传感器i和其他传感器之间的余弦相似度，再将余弦相似度前k个的邻接矩阵的值修改为1，其中，
《Graph Neural Network-Based Anomaly Detection in Multivariate Time Series》 笔记
beingstrong的博客
03-05 830
如何从多维时序数据（如传感器数据）中发现异常事件比如系统错误或者攻击呢？ 我们怎样去捕获传感器之间的复杂关系呢？并利用这些关系来检测并解释偏离关系的异常事件呢？ 论文尝试提出一种名叫Graph Deviation Network (GDN) 的方法来解决这些问题，通过在两个实际数据集上进行实验证明该方法比基准方法在准确性上更好，并且具有可解释方便用户定位和理解异常行为。
Multivariate Time-series Anomaly Detection via Graph Attention Network
qcmhzly的博客
03-21 886
第一类方法通过应用单变量模型[1]，[6]-[8]来分析每个单独的时间序列，而第二类方法则将多个时间序列建模为一个统一的实体[2]，[4]，[9]-[13]。从另一个角度来看，现有的异常检测模型也可以分为两种范式，即基于预测的模型[2]，[14]，[15]和基于重建的模型[4]，[11]-[13]。广泛的分析为模型提供了更多的见解，并验证了所提议的体系结构的有效性。此外，我们的方法联合优化了基于预测的模型和基于重建的模型，通过将单个时间戳预测和整个时间序列的重建相结合，获得了更好的时间序列表示。
【文献阅读】Graph Neural Network-Based Anomaly Detection in Multivariate Time Series
最新发布
2401_89112648的博客
12-10 1123
现有方法并没有显式地学习变量之间现有关系的结构，或者使用它们来预测时间序列的预期行为。我们的方法结合了结构学习方法和图神经网络，另外使用注意力权重为检测到的异常提供可解释性。
TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
小蚂蚁与大象
06-04 2799
对多元时间序列数据进行有效的异常检测与诊断对现代工业应用具有重要意义。然而，建立一个能够快速准确地定位异常观测的系统是一个具有挑战性的问题。这是由于在现代应用中缺乏异常标签、高数据波动性和超低推断时间的要求。尽管最近有了用于异常检测的深度学习方法，但只有少数方法能够解决所有这些挑战。在本文中，我们提出了TranAD，这是一个基于深度变压器网络的异常检测和诊断模型，它使用基于注意的序列编码器，根据数据中更广泛的时间趋势知识快速执行推断。TranAD使用基于焦点分数的自我调节来实现鲁棒的多模态特征提取和对抗训练
（十四）A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Seri
WangZixuan1111的博客
05-29 3584
内含动画的PPT已经上传，可以在我上传的资源里看到，可免费下载****论文信息 分析参考链接1 分析参考链接2 论文链接：A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data 论文代码：https://github.com/7fantasysz/MSCRED 论文信息 2018 AAAI 多元时间序列+异常检测+Attention+AE+ConvLST
Multivariate Time-series Anomaly Detection viaGraph Attention Network
小蚂蚁与大象
08-12 1070
该方法将每个单变量时间序列视为一个单独的特征，并试图显式地建模不同特征之间的相关性，同时对每个时间序列内的时间依赖性进行建模。面向特征的图关注层捕捉多个特征之间的因果关系，面向时间的图关注层强调沿时间维度的依赖关系。此外，我们联合训练了一个基于预测的模型和一个基于重构的模型，以更好地表示时间序列数据。损失函数定义为两个优化目标的和，即loss = Lossfor + Lossrec，其中Lossfor为基于预测模型的损失函数，Lossrec为基于重构模型的损失函数。通过广泛的实验证明了该模型的有效性。...
Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks
myblog
09-01 4484
论文简介： KDD 2020的一篇论文，作者还写过一篇Graph WalveNet。 摘要： 文章旨在建模多变量时间序列预测问题，现有的方法无法充分利用变量对之间潜在的空间相关性。现有的GNN方法需要提前定义好的图结构，这不能够用于建模多元时间序列，因为这种序列的依赖关系未知。 本文提出了一个用于多元时间序列的框架，可以通过一个图学习模块自动提取变量之间的单向关系，变量属性之类的外部信息也可以容易地集成进去。使用了一个全新的mix-hop的前向传播层和扩张的起始层进一步提取时间和空间的关联。 前言： 介绍了
Filling the Gaps: Multivariate Time Series Imputation by Graph Neural Networks
羊城迷鹿的博客
11-28 1902
研究问题 首次使用GNN去解决多元时间序列插补问题 背景动机 在真实场景下，时间序列数据通常是不完整的，通过插补方法来对缺失值进行填充是一项必要工作（和时间序列的预测问题相比，插补法不仅可以利用过去的事件信息，也可以利用未来的时间信息） 现有方法无法有效捕捉到传感器网络中存在的非线性时间和空间依赖性，也无法充分利用关系信息 两个传感器具有空间相似性不意味着物理上接近，而是说它们的数据变化比较相关 考虑到图神经网络可用于处理具有关系归纳偏差的序列数据，论文提出了一个称之为GRIN的GNN框架，通过消息传递学
《Few-Shot Learning with Graph Neural Networks》代码理解
F_aF_a的博客
08-12 1882
代码使用omniglotomniglotomniglot数据集，以5way−1shot5way-1shot5way−1shot为例，一个episodeepisodeepisode只有一张queryqueryquery，一个batchbatchbatch中有300300300个episodeepisodeepisode 文章目录数据训练metric_nnWcomputeGconvgmul流程图 在main.py中的第144行开始训练的迭代 数据 首先加载数据 # main.py line149 data =
An Interpretable Station Delay Prediction Model Based on Graph Community Neural Network and Time-Series Fuzzy Decision Tree的代码
10-09
基于图社区神经网络（Graph Community Neural Network, GCN）和时间序列模糊决策树（Time-Series Fuzzy Decision Tree, TSFDT）的可解释性强的列车延误预测模型是一种结合了深度学习和传统机器学习技术的复杂算法。这类模型通常用于交通领域的应用，如铁路运输系统的实时调度优化。 其核心代码可能会包括以下几个部分： 1. **数据预处理**: ```python import pandas as pd from sklearn.preprocessing import MinMaxScaler # 加载数据 data = pd.read_csv('train_data.csv') scaler = MinMaxScaler() # 归一化时间序列特征 data[['delay', 'weather', ...]] = scaler.fit_transform(data[['delay', 'weather', ...]]) ``` 2. **构建图社区神经网络**: ```python import torch_geometric.nn as pyg_nn import torch_geometric.data def build_gcn_layer(): return pyg_nn.GraphConv(..., add_self_loops=True) model = Sequential( build_gcn_layer(), # GCN层 ReLU(), build_gcn_layer(), # 可能还有其他GCN层 ) ``` 3. **时间序列模糊决策树组件**: ```python from tsfuzzy import FuzzyDecisionTreeRegressor tree = FuzzyDecisionTreeRegressor(...) ``` 4. **集成模型**: ```python class IntegratedModel(nn.Module): def __init__(self): super().__init__() self.gcn = model self.tsft = tree def forward(self, x, graph): gcn_output = self.gcn(x, graph) tsft_input = gcn_output.view(-1, ...) delay_pred = self.tsft(tsft_input) return delay_pred ``` 5. **训练和预测**: ```python optimizer = Adam(model.parameters(), lr=0.01) for epoch in range(num_epochs): train_loss = train_model(model, data_train, optimizer) validate_loss = evaluate_model(model, data_val) # 预测阶段 with torch.no_grad(): test_delay_pred = integrated_model(test_data.x, test_data.edge_index) ```
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值