豹先生

[ xcly原创于iteye,见http://xcly.iteye.com ]      年初团队接了搭建公司Hadoop平台的研发计划，负责公司产品日志的收集，分析两个工作。    日志收集准备搭建flume(0.9.3)这个分布式日志收集集群.背景介绍完毕，马上开始。   Flume分为agent,collector,master三个概念节点，agent负责收集日志，发到collec

[ xcly原创于iteye,见http://xcly.iteye.com ]     接上次介绍tailDir的实现后，这次介绍节点的启动。节点的启动实现在高版本中会有所区别，这次针对flume0.9.3.   启动Flume Master或者Node一般都用FlumeWatchdog启动，生成pid文件，判断配置读取，利用Watchdog，  利用Runtime的exec来启动新的进程

[ xcly原创于iteye,见http://xcly.iteye.com ]    本节重点介绍 agentSink中ENDTOEND的实现。     每一个节点通过source获得事件Event,然后由sink处理，sink同source一样，flume提供了多种实现，sink的生成同Flume源代码解读一中介绍的实现方式类似，由SinkFactory工厂方法实现，跟SourceFac

[ xcly原创于iteye,见http://xcly.iteye.com ]       今天介绍Flume里面用到的BackoffAlgo算法，接口由BackoffPolicy定义，让我们看看下面的几个关键的方法 reset：Reset backoff state. Call this after successful attempts.每一次成功调用之后reset状态。 backof

[ xcly原创于iteye,见http://xcly.iteye.com ]   本节介绍Flume存储配置项的工作方式，Flume支持zookeeper和memory两种方式。        FlumeMaster启动时，创建ConfigStore。 如果为zookeeper方式，还初始化ZooKeeperService。对ConfigStore的使用通过ConfigurationMa