网络安全中的数据挖掘技术（四）

五、 日志分析

5.1 日志分析介绍

日志就是按照一定的规则将操作系统、应用程序、网络设备中的发生的事件记录下来，对系统管理、网络安全策略实现状况的评估及其他安全防御系统的评估都是必不可少的证据。

5.1.1 日志文件的特点及日志分析的目的

1.日志文件的特点
（1）多样性
（2）可读性差
（3）日志记录的数据量很大
（4）不容易获取
（5）不同日志之间存在某种必然的联系
（6）容易被篡改
2.日志分析的目的：对用户行为进行审计，监控恶意行为，对入侵行为的检测，系统资源的监控，帮助恢复系统，评估入侵行为造成的损失，计算机犯罪的取证，调查报告的生成。

5.1.2 日志的分类

从日志产生的来源角度分类，日志主要分为三大类：操作系统日志、网络设备日志（路由交换设备、防火墙等安全设备）、应用服务日志（Web等各种网络应用）。
1.日志的采集和存储
数据采集：（1）标准协议接收：日志分析产品应能接收从日志数据源发送的基于syslog、snmp、trap、ftp或其他标准协议的日志数据。（2）代理方式采集 （3）日志文件导入
数据预处理：（1）数据筛选：日志分析产品应能基于既定策略对采集的日志数据进行过滤，有选择的生成日志记录。
（2）数据转换：日志分析产品应能将不同格式的数据转换为同一的数据格式。
数据日志记录的生成：（1）事件发生的日期和时间（2）事件主体（3）事件客体（4）事件描述（5）事件类型（6）事件级别（7）日志数据源的IP地址或名称
2.日志的分析和处理
日志记录的处理：（1) 数据整合 （2）数据拆分
日志记录的分析：（1）事件辨别（2）事件定级（3）事件统计：事件主体、事件客体、事件类型、事件级别、事件发生的日期和时间、日志数据源的IP地址或名称、事件的其他属性或属性的组合
（4）潜在危害分析（5）异常行为分析（6）关联事件分析（7）日志记录数据挖掘
3.日志的显示和警告
**日志查询：**事件主体、事件客体、事件类型、事件级别、事件发生的日期和时间、日志数据源的IP地址或名称、事件的其他属性或属性的组合
**统计报表：**日志分析产品应能够根据事件统计结果生成统计报表，并能以通用格式输出。
**分析报告：**日志记录分析结果、对信息系统或信息系统中单个资源的风险等级提供评估结果、对日志记录分析结果提供补救建议、根据日志数据挖掘收集到的知识，提供预测性的信息
警告机制：（1）用户指定的高危事件（2）存在潜在危害的事件（3）异常行为（4）某系统资源存在风险

5.2 日志分析模型与方法

**1.关联分析：**常用的关联分析算法：Apriori算法、LIG算法、FP算法等。
**2.序列分析：**序列分析算法对包含候选序列的集合进行计数得到支持度，然后得到满足支持度要求的大序列，主要包含WINEPI、AprioriAll等。
3.常用日志分析工具：（1）AWStats（2）Webalizer（3）Wusag（4）Analog（5）Web Trends