LogRobust Robust Log-Based Anomaly Detection on Unstable Log Data

最新推荐文章于 2024-03-20 16:50:56 发布

原创

最新推荐文章于 2024-03-20 16:50:56 发布 · 4k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs

LogRubust是一种针对不稳定的日志数据进行异常检测的方法，利用语义向量和基于注意力的Bi-LSTM模型，对日志事件的上下文和重要性进行捕获和学习，从而在日志数据变化时保持鲁棒性。在HDFS合成日志数据和微软在线服务系统日志上表现出色，解决了现有方法对新日志事件不兼容或性能下降的问题。

Robust Log-Based Anomaly Detection on Unstable Log Data

对不稳定的日志数据进行鲁棒的基于日志的异常检测

发表于：ESEC/FSE ’19
原文/下载链接： https://dl.acm.org/doi/pdf/10.1145/3338906.3338931
团队：南京大学，微软中国研究院

1 主要内容
日志被广泛用于大型复杂的软件密集型系统中的故障排除。基于日志的异常检测已经有了很多研究。现有的检测方法主要是利用从历史日志中提取的日志事件数据构建检测模型。但是现有的方法在实践中效果不佳。这些方法采用封闭世界假设，即假设日志数据随时间的变化是稳定的，并且已知不同的日志事件集。然而，我们的实证研究表明，在实际操作中，日志数据往往包含以前未见过的日志事件或日志序列。日志数据的不稳定性主要来自两个方面:一是日志语句的变化，二是日志数据的噪声。
本文提出了一种新的基于日志的异常检测方法——LogRubust。LogRubust 提取日志事件的语义信息，并表示成向量。然后，它利用一个基于注意力的Bi-LSTM模型来检测异常，该模型能够捕获日志序列中的上下文信息，并自动了解不同日志事件的重要性。通过这种方式，logRubust能够识别和处理不稳定的日志事件和序列。

关注问题
当前的日志检测算法：通常采用提取日志模板的方法进行日志的语义处理，对于没有出现过的日志事件缺乏鲁棒性。而现实世界中的日志数据是不稳定的（不断变化）：
1.日志语句的演变（开发人员对日志模板的修改）
2.日志采集中的噪声