LSTM+AE用于时间序列异常检测

最新推荐文章于 2025-04-25 23:24:50 发布
最新推荐文章于 2025-04-25 23:24:50 发布
阅读量451 收藏
点赞数 1
文章标签： python 深度学习 lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_52807211/article/details/138619330
版权

求助各位大佬，为什么会出现当归一化后的数据超过0.75就无法重构的现象，在0.75以下重构效果还比较好。

qq_52807211
关注
电力负荷预测 | 基于AE-LSTM的电力负荷预测（Python）
天天酷科研的博客
02-06 947
电力负荷预测 | 基于AE-LSTM的电力负荷预测（Python）
基于LSTM-AutoEncoder的心电信号时间序列数据异常检测(PyTorch版)
时序笔记
04-19 1496
本文使用ECG5000心电图时间序列数据集在模型训练之前，我们需先定义train函数来执行模型训练过程上述代码定义了一个名为train的函数，用于训练给定的模型。它接收模型、数据迭代器作为参数，并返回训练过程中的平均损失。上述代码定义了一个名为evaluate的函数，用于评估给定模型在给定数据迭代器上的性能。它接收模型、数据迭代器作为参数，并返回评估过程中的平均损失。这个函数通常在模型训练的过程中定期被调用，以监控模型在验证集或测试集上的性能。通过评估模型的性能，可以了解模型的泛化能力和训练的进展情况。
使用pytorch构建LSTM_AE模型的两种方式
qq_37840762的博客
08-11 6347
2.基本LSTM_Unit计算——基本LSTM_AE结构 3.自定义LSTM_Unit计算——自定义LSTM_AE结构 1.LSTM-Encoder-Decoder模型结构及简要解析 图基本lstm计算单元
论文学习——基于集成LSTM-AE的时间序列异常检测方法
#仙女不扎马尾#的博客
04-19 3506
文章目录0 封面1 标题2 摘要3 结语4 引言4.1 一个问题4.1 新方向5 实验设计 写在前面：《华中科技大学学报（自然科学版）》；主办单位：华中科技大学；中文核心；双月报； 0 封面 1 标题 基于集成LSTM-AE的时间序列异常检测方法 ①方法：LSTM-AE ② 方向：时间序列异常检测 2 摘要 “这篇文章研究了什么？”——提出LSTM-AE框架（LAEE）,使得正常序列和异常序列的重建误差分化程度加大。 “用了什么方法？”——预训练阶段和预检测阶段，在异常检测阶重建误差矩阵。 “得到了
EA-LSTM: Evolutionary attention-based LSTM for time series prediction
Mortal's blog
10-24 2421
基于进化的LSTM，尽管注意力机制能够捕捉不同窗口大小的特征，但是仍然是不够的 evolutionary attention-based LSTM 的目标： multivariate time series prediction 优点：尽可能的避免落入最小值，在attention layer中引入了competitive random search
基于LSTM-AutoEncoder的室内空气质量时间序列数据异常检测
BeeGreen的博客
08-30 1206
异常检测，自动编码器（AutoEncoder），CO2，室内空气质量（IAQ），长短期记忆（LSTM），时间序列。
论文笔记 | Attention-based LSTM for Aspect-level Sentiment Classification
u011150266的博客
06-03 1599
作者：刘锁阵 单位：燕山大学 论文地址：https://www.aclweb.org/anthology/D16-1058.pdf 发布时间：2016 前言 最近在初步学习如何将注意力机制应用到文本分类领域，所以读了几篇相关的论文，在此记录一下。 文章目录前言背景介绍模型设计1. LSTM with Aspect Embedding(AE-LSTM)2. Attention-based LSTM (AT-LSTM)3. Attention-based LSTM with Aspect Embedding.
LSTM+KNN - 多元数据异常检测 ！
最新发布
qq_70350287的博客
04-25 889
大家好！我是我不是小 upper~ 今天想和大家分享一个超实用的案例：如何通过 LSTM 与 KNN 实现多元数据异常检测。想象一下，在工厂的智能化监控场景中，各类传感器实时采集着温度、湿度、压力等海量数据。我们的目标，就是从中精准识别出设备潜在故障等异常情况。LSTM 作为时间序列分析的 “记忆大师”，能够敏锐捕捉数据的时序特征。例如，当监测到某设备温度在过去 10 分钟内持续攀升，LSTM 会快速识别出这种异常趋势。
基于GAN的时间序列异常检测1
08-08
时间序列异常检测是识别数据中不寻常模式的过程，这些模式可能指示系统中的异常行为或故障。在金融领域，异常可能表示欺诈交易；在航空航天中，可能是飞机系统的故障信号；在IT安全中，异常流量可能表明网络攻击；在...
LSTM结合时序异常检测直接写！小论文闭着眼睛发！
学姐带你玩AI的博客
08-26 1572
还在愁小论文？，因为LSTM具有非常优秀的时序数据深度处理能力，能够灵活适应不同复杂度的数据，给我们提供高精度的预测结果，在处理时序异常检测任务方面遥遥领先。比如一种新的基于多尺度C-LSTM的异常检测方法，该方法利用了LSTM网络在处理时间序列数据方面的优势，实现了超过99.7%的准确率。目前这方向的创新着眼于改进模型结构、优化算法、融合多模态数据等方面。根据这个，我特别整理了，开源代码已附，大家可以直接拿来参考。论文原文+开源代码需要的同学看文末。
使用自编码器与lstm预测金融时间序列
04-18
首先、wt（小波分析）过滤噪声 然后 saes（自编码器）提取强特征 最后用lstm进行学习训练
多变量时间序列异常检测
qq_30125323的博客
07-05 1047
异常检测常用于发现大量分布相似数据中的不常见样本。在工业界得到广泛应用，例如社交网络中的欺诈检测、视频中的异常行为检测、互联网中的异常流量检测等。随着生成式模型的逐渐成熟，目前基于生成式模型的异常检测方法在各种应用中取得了较好的效果。这些方法都基于这样的假设：相比于异常样本，正常的样本可以很容易地由生成模型重建得到。因此我们可以构建一个自编码器（AutoEncoder, AE）通过度量重建误差来衡量样本是否是异常样本。
如何判断LSTM模型的过度拟合和欠拟合——长短期记忆(LSTM)系列_LSTM的建模方法（3）
AI量化交易实验室
12-08 2万+
导读： 本文主要讲了一些模型中一个常见的问题，训练不足和过度拟合。 过度拟合指的是由于训练数据过少，或者对训练集训练的次数过多，导致模型的结果不是找到所有数据的一般共有特性，而是仅对训练数据进行了特征提取。换句话说，这个模型已经记住了所有的训练数据，对训练数据的预测效果非常好，但对其他数据的预测效果非常差。 对于训练不足的情况来说，可以通过增加网络中的节点，或者增加网络的训练周期来达到。 ...
无监督异常检测之LSTM组成的AE
qq_38472535的博客
05-20 1435
无监督异常检测之LSTM组成的AE
深度学习笔记(六)：Encoder-Decoder模型和Attention模型
热门推荐
Multiangle's Notepad
10-15 12万+
这两天在看attention模型，看了下知乎上的几个回答，很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下，感觉非常的不错，里面还大概阐述了encoder-decoder(编码)模型的概念，以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下，自己做了一些摘
理解LSTM网络
Deep Learning and NLP Farm
11-16 3595
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
keras 多层lstm_如何堆叠多层LSTM网络——长短期记忆(LSTM)系列_LSTM的建模方法（2）...
weixin_42327743的博客
02-26 2652
如何堆叠多层LSTM网络——长短期记忆(LSTM)系列_LSTM的建模方法(2)发布时间：2018-12-07 15:15,浏览次数：1362, 标签：LSTM导读：堆叠式LSTM属于深度学习，通过添加网络的深度，提高训练的效率，获得更高的准确性。文中介绍了堆叠式LSTM的架构和实现方法在堆叠式LSTM中，层与层的输数出通过return_sequences = True参数修改成3D数据，以便供下...
[[NLP]基于Simaese LSTM的句子相似度计算
Forgive Me
11-02 1万+
句子相似度计算在问答系统以及客服机器人当中应用比较频繁，比对针对对话模型中比较频繁的问句可以先进行过滤，之后再进行对话理解。在文本检测方面也有所应用，比如作家写作风格的检测。本文叙述的句子相似度计算方法来自论文Siamese Recurrent Architectures for Learning Sentence Similarity,论文是基于Simaese LSTM网络对成对相似句进行训练，通
推荐系统与LSTM、GRU
Herr-的博客
03-22 1万+
最近在看深度学习与神经系统方面的文章，发现深度学习对推荐系统有很大的影响，特此进行下总结，为自己接下来的阅读总结做参考。如今，深度学习技术应用到推荐系统的主要分为以下5类：1、自编码器AE：通过一个编码和一个解码过程来重构输入数据，学习数据的隐层表示。多用于：评分预测、文本推荐、图像推荐2、受限玻尔兹曼机RBM：是一种生成式随机神经网络，BM能够学习复杂的规则，具有强大的无监督学习能力。RBM去除...
lstmae异常检测
01-04
### 使用LSTMAE进行异常检测 #### LSTMAE简介 长短时记忆自编码器（Long Short-Term Memory Autoencoder, LSTMAE）是一种基于循环神经网络（RNN）的无监督学习模型，特别适用于时间序列数据中的异常检测。该模型能够捕捉时间序列中的长期依赖关系，并通过重构误差来识别异常。 #### 数据预处理 为了训练LSTMAE模型，输入的时间序列数据通常需要经过标准化或归一化处理。这一步骤可以提高模型的学习效率和稳定性[^1]。 ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data) ``` #### 构建LSTMAE模型 构建LSTMAE模型涉及定义编码器和解码器结构。编码器负责压缩输入数据到低维表示，而解码器则尝试从这些低维表示重建原始输入。如果某个时间步的数据无法被很好地重建，则可能表明这是一个异常点。 ```python import tensorflow as tf from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, LSTM, RepeatVector, TimeDistributed, Dense input_dim = data.shape[-1] timesteps = data.shape[0] inputs = Input(shape=(timesteps, input_dim)) encoded = LSTM(64, activation='relu')(inputs) decoded = RepeatVector(timesteps)(encoded) decoded = LSTM(input_dim, return_sequences=True)(decoded) autoencoder = Model(inputs, decoded) autoencoder.compile(optimizer='adam', loss='mse') ``` #### 训练模型 使用正常样本作为训练集，让模型学会如何有效地重构正常的模式。对于异常检测任务来说，在训练过程中只用到了未标记的历史正常数据即可完成整个过程。 ```python history = autoencoder.fit( X_train, X_train, epochs=50, batch_size=32, validation_split=0.1, callbacks=[tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=5)], shuffle=False ) ``` #### 设定阈值并预测异常 一旦模型训练完毕，就可以利用它来进行新数据上的异常检测工作了。具体做法是计算每一个时间窗口下的重构损失函数值；当这个数值超过预先设定好的阈值时即认为发生了异常事件。 ```python train_pred = autoencoder.predict(X_train) test_pred = autoencoder.predict(X_test) # Calculate reconstruction error (MSE) train_mse = np.mean(np.power(X_train - train_pred, 2), axis=1) test_mse = np.mean(np.power(X_test - test_pred, 2), axis=1) threshold = np.percentile(train_mse, 95) # Set threshold based on training set's MSE distribution anomalies = test_mse > threshold ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值