日志和告警数据挖掘经验谈

　　最近参与了了一个日志和告警的数据挖掘项目，里面用到的一些思路在这里和大家做一个分享。

　　　　项目的需求是收集的客户系统一个月300G左右的的日志和告警数据做一个整理，主要是归类(Grouping)和关联(Correlation)，从而得到告警和日志的一些统计关系，这些统计结果可以给一线支持人员参考。

　　　　得到的数据主要分为两部分，一部分是告警的历史数据，这部分数据很少，只有50M左右，剩下的全部都是日志数据。日志数据大概有50多种不同类型，对应系统中不同的模块。每种类型的文件每天产生一个日志文件，所以总数大概是1500个左右的日志文件。文件大概都是这样的：A_2016-04-15.log, B_2016-04-15.log, ..., A_2016-05-14.log, B_2016-05-14.log。每个文件在10M-1G之间不等。

1. 日志的模式挖掘

　　　　通过查看日志，发现所有的log每一行基本都是类似这样的Pattern:

　　　　YYYY-MM-DD hh:mm:ss [模块名] [具体日志]

　　　　每类日志的模块名都是一样的，基本可以忽略。有价值的就是时间戳和具体日志。

　　　　而且可以发现，很多日志只是极少部分动态内容不同，在代码中属于同一个位置的输出，这些数据后面我们会分为一类数据。比如：

　　　　2016-04-26 00:30:38.795 55637   ResourceManager Free ram (MB): 244736

　　　　2016-04-26 00:34:38.795 55637   ResourceManager F