使用深度学习进行日志异常检测：我们离目标还有多远？

使用深度学习进行日志异常检测：我们离目标还有多远？

LogADEmpiricalLog-based Anomaly Detection with Deep Learning: How Far Are We? (ICSE 2022, Technical Track)项目地址:https://gitcode.com/gh_mirrors/lo/LogADEmpirical

在软件密集型系统中，日志是用于故障排查的重要资源。近年来，许多基于深度学习的模型已被提出，用于自动从日志数据中检测系统异常，并且通常宣称有很高的检测准确率。例如，大多数模型在常用的HDFS数据集上报告的F-measure超过0.9。为了深入理解我们在解决日志基异常检测问题上的进展，这篇论文对五个最先进的深度学习模型进行了深度分析，研究了四个公共日志数据集。本文库提供了这些近期日志基异常检测方法的实现。

1、项目介绍

这个开源项目旨在对五个基于深度学习的日志异常检测模型进行实验和评估，包括无监督的DeepLog和LogAnomaly，半监督的PLELog，以及监督的CNN和LogRobust等。除了提供代码实现外，该项目还探讨了模型评价的各种关键方面，如训练数据选择、数据分组、类别分布、数据噪声和早期检测能力。

2、项目技术分析

项目采用了PyTorch框架，支持NVIDIA GPU和CUDA cuDNN加速。所有的模型都需要日志解析和预处理，其中包括使用fastText进行模板嵌入。每个模型都有特定的配置文件来设置超参数，比如批量大小、学习率、最大迭代次数和优化器类型。

3、项目及技术应用场景

这些模型适用于监控和诊断分布式系统、大数据平台以及网络系统的日志数据，以发现并预防潜在的问题。通过实时或定期运行这些模型，可以提前预警可能导致服务中断或性能下降的异常行为，从而提高系统稳定性和可靠性。

4、项目特点

1. 全面性：涵盖了无监督、半监督和监督三种学习模式的最新模型。
2. 可扩展性：项目提供了统一的数据准备和模型训练流程，易于添加新的深度学习模型。
3. 公平比较：所有模型均使用相同的特征提取方法（如嵌入式和事件计数）和评估标准。
4. 灵活性：允许用户自定义配置文件，调整模型参数以适应不同场景。

如果你正在寻找一个深入了解和比较现有日志异常检测模型的平台，或者想要在自己的日志数据上应用这些先进的算法，这个开源项目无疑是一个宝贵的资源。请确保正确引用项目来源，以支持作者的研究工作。

@inproceedings{le2022log,
  title={Log-based Anomaly Detection with Deep Learning: How Far Are We?},
  author={Le, Van-Hoang and Zhang, Hongyu},
  booktitle={2022 IEEE/ACM 43rd International Conference on Software Engineering (ICSE)},
  year={2022}
}

现在就加入，一起探索日志异常检测的世界，看看我们离完全解决这个问题还有多远！

LogADEmpiricalLog-based Anomaly Detection with Deep Learning: How Far Are We? (ICSE 2022, Technical Track)项目地址:https://gitcode.com/gh_mirrors/lo/LogADEmpirical