
flume
JQW_YNU
无
展开
-
Flume+Kafka+SparkStreaming+Hbase处理和调试方法
1. 首先得确保Flume能接受到数据和输出数据,所以源头监控log文件,输出在控制台 2. 确保kafka接受到数据并能通过consumer消费到,控制台输出 3.对接Flume和Kafka,将Flume的输出改为Kafka , 测试能否在Kafka处输出 4.SparkStreaming测试程序,测试能否接受到kafka数据并在控制台输出 5.编写sparkStreaming 处理逻辑...原创 2018-09-23 10:47:31 · 579 阅读 · 0 评论 -
flume配置文件和实际场景理解
一、场景一描述: 线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink发送到汇总服务器上的flume;汇总服务器上的flume通过avro source接收日志,然后通过file_roll sink写到本地磁盘。 二、场景二描述: 线上api接口服务通过log4j往本地磁盘上打印日志,在接口...原创 2018-09-22 13:42:24 · 476 阅读 · 0 评论