69、系统生成日志的异常检测研究

系统生成日志的异常检测研究

1. 日志数据概述

系统日志以人类可读的形式生成，包含文本消息、参数或运行进程的其他重要值。这些日志结构不固定，其内容取决于应用程序类型和其他配置设置，如要输入的消息类型（信息性消息、错误和调试输出）、日志历史中的单词长度以及系统各组件写入日志的定义时间。通常，来自不同源的日志会作为批量作业或单个操作转储到一个文件中，并动态生成消息。

日志数据具有重要价值，其中包含许多隐藏信息，可用于性能调优和异常检测，对在线监控和系统性能提升有帮助。然而，分析这些动态日志也面临诸多挑战：
- 信息质量 ：日志提供的是嘈杂且低级别的信息，对系统状态变化的信息提供较少。
- 数据量与复杂度 ：日志数据量巨大且复杂，管理员和操作员在诊断问题、分析异常的根本原因时面临困难。
- 关联性追踪 ：难以追踪哪一行日志或哪组日志与系统的特定操作变化相关。
- 多资源变化 ：在许多大规模应用中，由于多个并发操作，数百个共享资源不断变化，仅通过日志内容难以监测和检测操作执行行为的异常。

2. 异常类型

异常主要分为以下三种类型：
- 点异常 ：这是最简单和最常见的异常类型。当从特定数据实例中观察到与正常数据集模式的偏差时，就被视为点异常。例如，在正常一天中血压突然升高。
- 条件（上下文）异常 ：指数据实例的异常行为，仅在某些条件或特定上下文中才被视为异常，在其他情况下则不是。例