
flume
Anonymous_cx
这个作者很懒,什么都没留下…
展开
-
kafka和flume整合
Kafka作为source:配置文件:**#定义各个模块** a1.sources = kafka a1.sinks = log a1.channels = c1#配置kafka source #source的类型为kafkaSource a1.sources.kafka.type = org.apache.flume.source.kafka.KafkaSource #消费者连接的zk集群地址原创 2016-05-19 20:47:09 · 1486 阅读 · 0 评论 -
用Flume采集多台机器上的多种日志并存储于HDFS
需求:把A、B 机器中的access.log、ugcheader.log、ugctail.log 汇总到C机器上然后统一收集到hdfs中。 IP: A:155 B:156 C:162 但是在hdfs中要求的目录为: /source/access/20160101/** /source/ugcheader/20160101/** /source/ugctail/20160101/**结构原创 2016-07-02 14:57:29 · 5694 阅读 · 4 评论