DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning

镰刀韭菜

已于 2022-10-14 13:11:55 修改

阅读量8.5k

点赞数 8

CC 4.0 BY-SA版权

分类专栏： PaperReading 文章标签：深度学习 Deeplog LSTM 异常检测日志数据分析

于 2019-11-26 19:30:55 首次发布

本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/103236241

PaperReading 专栏收录该内容

65 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

DeepLog是一种利用LSTM的深度学习模型，对系统日志进行异常检测和诊断。它自动学习正常日志模式，检测执行路径和参数值异常，并能在线更新模型以适应新日志模式。通过构建工作流模型，DeepLog提供异常诊断能力，尤其在大型日志数据中表现出高检测精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DeepLog: 基于深度学习对系统日志进行异常检测和诊断

Min Du, Feifei Li, Guineng Zheng, Vivek Srikumar
School of Computing, University of Utah
{mind, lifeifei, guineng, svivek}@cs.utah.edu

摘要

异常检测是构建安全可靠系统的关键步骤。系统日志的主要目的是记录系统状态和重大事件在不同的临界点来帮助调试系统故障和执行根源分析。这样的日志数据在几乎所有的计算机系统中都是通用的。日志数据是了解系统状态和性能问题的重要和有价值的资源;因此，各种系统日志自然是在线监视和异常检测的良好信息来源。我们提出了一种利用长短时记忆(LSTM)的深度神经网络模型DeepLog，将系统日志建模为自然语言序列。这使DeepLog可以自动地从正常执行中学习日志模式并在正常执行情况下日志模式偏离日志数据训练的模型时检测异常。此外,我们演示了如何以在线方式增量更新DeepLog模型，以便其可以随着时间的推移适应新的日志模式。此外，Deeplog从底层系统构建工作流，以便一旦检测到异常，用户就可以诊断出检测到的异常并有效地进行根本原因分析。对于大型日志数据进行的广泛实验评估表明，Deeplog的性能优于基于传统数据挖掘方法的其他现有的日志异常检测方法。