一） 安装好flume-ng集群（四台cdh2,cdh3,cdh4 172.17.199.107为远程日志文件所在的主机）二） 安装好kafka集群（三台cdh1,cdh2,cdh3）三） 自定义flume kafka sink,打jar包放到flume安装目录的lib目录下四） 配置flume-ng的配置文件 Cdh2的配置文件fm_kfk.conf如下： producer.sour

最近使用Flume1.4 做日志收集，分享一下具体的集群环境配置搭建。其中使用到了3台机器， hadoop  192.168.80.100   hadoop1  192.168.80.101    hadoop2   192.168.80.102 ,  将 hadoop  和 hadoop2 机器上面指定的flume 监控到的文件夹中产生的日志文件通过 agent 汇集到 hadoop1 机器

第一种方法;继承AbstractSource抽象类并实现EventDrivenSource,Configurable接口：代码如下：import org.apache.flume.conf.Configurable;import org.apache.flume.source.AbstractSource;public class TailSource extendsA

my_agent.channels.my_channel_1.type = filemy_agent.channels.my_channel_1.checkpointDir = /home/work/flume/file-channel/my_channel_1/checkPointmy_agent.channels.my_channel_1.useDualCheckp

Cloudera 开发的分布式日志收集系统 Flume，是 hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在