8、日志数据处理与安全监控中的关键要点

日志数据处理与安全监控中的关键要点

在安全监控领域，有效处理和分析日志数据是至关重要的。日志数据的独特特性有助于节省确定保留或舍弃哪些数据的时间和精力。在收集数据时花时间和资源做出明智的决策，每次搜索日志时都能节省时间和资源。只有确定了要收集的数据后，才能开始为收集和分析系统准备数据。

数据归一化

日志过滤后，就可以开始组织和划分剩余的安全事件数据。以NASA的测量失误为例，能清楚地看到下一步——数据归一化的重要性。日志挖掘的数据归一化是将日志事件的一部分或字段转换为规范形式的过程。使用数据的组织必须开发并始终使用标准的日志归一化格式。

有些数据类型可能有多种表示格式，例如时间戳。C函数 strftime() 及其约40种格式说明符表明了日期和时间的多种表示方式。ISO 8601试图设定国际公认的标准时间戳格式，但该标准常被忽视。由于大多数编程库采用了 strftime() 的转换规范，应用开发者可自行定义时间戳格式。当调查查询中需要匹配日期和时间时，来自不同日志系统的多样化时间戳会带来麻烦。处理包含时间戳的数据时，需要识别不同格式并将其归一化为官方标准格式。

除时间戳外，需要归一化的其他数据元素还包括MAC地址、电话号码、用户ID、IP地址、子网掩码、DNS名称等。IPv6地址尤其有多种表示方式，例如可省略前导零、连续零可压缩并用双冒号替换，十六进制数字可以是大写或小写（尽管RFC 5952建议仅使用小写）。以下是一些IPv6地址的不同表示形式：
- 2001:420:1101:1::a
- 2001:420:1101:1::A
- 2001:420:1101:1:0: