75、基于自注意力机制和 BiGRU 模型的日志异常检测算法

基于自注意力机制和 BiGRU 模型的日志异常检测算法

一、背景与问题提出

随着计算机系统规模和复杂性的不断增加，系统日志成为了计算机系统运行管理的重要信息来源。日志文件记录了系统各组件的运行状态、用户操作、网络流量等重要信息，对于系统管理、故障诊断和业务监控具有重要意义。因此，日志异常检测技术受到了行业的高度关注，它能够分析日志数据，检测潜在问题和异常事件，如异常网络流量、未经授权的访问和系统崩溃等。

目前，日志异常检测主要分为传统机器学习和深度学习两种方法。传统机器学习方法如 PCA、SVM、K - prototype 聚类和 KNN 分类等，具有可解释性高、在特定数据集上检测性能好的优点，但在处理大规模数据集时性能较差，且对特征工程依赖度高。深度学习方法如 DeepLog、LogAnomaly、LogRobust 和 PLELog 等，虽然在日志异常检测中取得了一定进展，但传统深度学习方法通常为日志的不同特征分别训练模型，忽略了特征之间的相关性，难以处理复杂多样的日志数据。

日志包含事件计数、事件序列和时间间隔等多个特征。当系统出现异常时，这些特征会有所体现。例如，事件计数的显著增加或减少、日志模式偏离正常操作、两个连续日志之间的时间间隔过大等都可能表明系统存在异常。为了解决传统方法的不足，本文提出了一种基于自注意力机制和 BiGRU 模型的日志异常检测方法，实现多特征融合的日志异常检测。

二、主要工作

1. 设计异常检测模型 ：设计了一个由两个双向门控循环单元网络（BiGRU）和一个自注意力机制组成的日志异常检测模型。
2. 特征融合