day22 kafka 的集成

大数据day22

日志监控告警系统

定义： 基于的日志进行监控，监控需要一定的规则，对触发监控的规则的日志信息进行告警，告警的方式，是短信和邮件。

什么是规则：

应用程序日志信息捕获

应用程序日志信息捕获：log4j---->error,info,debug 应用程序程序的日志  error级别 TimeOutException 角标越界IndexXXXException ......Error

业务日志信息捕获：当订单量触发一千万时，告警通知，让大家庆祝下。OrdertotalNum：1000万

规则的判定：

对一条一条输入的日志信息，进行字符串比较
String.contains.(" taskList ")  String.equals.(" taskList ")  String.match.(" 正则表达式 ")

触发规则后：

   告警，发短信，发邮件。

数据分析的步骤：

1.明确分析的目标

2.根据目标收集数据

3.对数据进行清洗和标准化

4.使用工具对数据进行计算

5.展示分析的结果，给业务人员进行抉择。

数据处理流程： flume+kafka+storm+redis

1.先有一个系统（订单系统），对系统的日志进行采集，通过哦日志采集插件（flume）进行数据采集。

2.通过flume 采集的数据存放到kafka 中，flume2kafka

3.Storm 消费kafka的数据， kafka2storm

4. Storm 操作redis 保存结果 storm2redis

Storm 程序如何编写：

1.kafkaSpout 获取kafka 集群中的某个topic 信息

2.FilterBolt对一行一行的日志进行过滤规则校验

3.NotifyBolt 触发规则之后，发短信，发邮件

4.Save2MysqlBolt管理平台的数据展示

2.架构图

实时架构系统架构图

当前worker中的线程安全问题

相关的工具：

http://blog.youkuaiyun.com/github_25679381/article/details/51497789

上传附件：