
大数据
coder_rad
https://rad911.github.io/
展开
-
Log4j+Flume+HDFS采集日志
环境 首先我们搭建好了hadoop环境,flume等软件。 我们首先配置flume中的flume.conf #Name the components on this agent tier1.sources=source1 tier1.channels=channel1 tier1.sinks=sink1 tier1.sources.source1.type=avro ...原创 2018-03-28 15:23:01 · 456 阅读 · 0 评论 -
flume整合kafka
在很多实时分析的系统中,经常需要使用Flume+Kafka收集数据,然后Strom或者Spark Stream从Kafka取出数据实时分析。flume能接受多种来源的数据,Kafka具有高吞吐、高负载的特点,将两者结合起来就,这样既可以拥有Kafka的容错能力,和Flume的多种接口。 前一篇是:log4j+flume的整合内容,感兴趣的小伙伴可以先去看看 https://blog.csdn....原创 2018-04-13 15:05:24 · 1014 阅读 · 0 评论