进击的大数据（十二）数据工厂模块的设计

项目我已上传到github中，感兴趣的可以下载下来看看，希望大神可以在以后多多指点。

github代码地址：https://github.com/sjctt/spartacus

在前面几篇文章里完成了数据采集模块的设计研发，主要功能就是通过syslog接收信息后缓存到redis中等待处理。

涉及到一些技术点如：UDP网络通信，非阻断式接收、多线程处理、队列任务的使用、java操作redis数据库等。

今天开始来做数据工厂部分，即从redis中拿出缓存数据后将数据经过解析后放入elasticsearch中存储。开始之前仍然先来做一下需求分析。

1. 需求分析

1.1 数据解析及索引

       1. 对redis中缓存数据逐条进行基础解析，并生成es索引。

       2. 基础解析可根据不同对象的日志进行不同形式的解析，如：windows日志、linux日志、web服务器日志等等解析内容尽量   丰富。

1.2 服务中心消息通信

1）提供与服务中心交互接口，便于服务中心对该模块进行状态数据采集，这是考虑以后如果采用集群部署形式时，可以通过

            服务中心模块进行系统状态追踪。

    &