Make progress step by step everyday.....

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大

对于flume拦截器,我的理解是：在app(应用程序日志)和 source 之间的，对app日志进行拦截处理的。也即在日志进入到source之前，对日志进行一些包装、清新过滤等等动作。官方上提供的已有的拦截器有：Timestamp InterceptorHost InterceptorStatic InterceptorRegex Filtering Int

Flume-ng-extends的应用目的:  这个可以tail dir 文件，监听文件目录写入事件，只要往这个目录写入文件就能触发首先需要flume-ng-extends：从获取源代码   https://github.com/jinoos/flume-ng-extends，maven编译打包将flume-ng-extends-0.0.1-SNAPSHOT.jar,另外还

Flume-ng 数据发送速度限制转自：http://blog.youkuaiyun.com/desilting/article/details/27081357   按理说，应该在sink端限制数据的发送速度，但flume-ng提供了非常便利的interceptor模式，因此本文，就只是在source端简单的实现了对数据发送速度的限制。[java] view

转载URL：http://blog.youkuaiyun.com/luyee2010/article/details/22159445nginx，access.log日志约8000条/s，每100w条数据约253M,需要2minagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1#

转载：http://blog.youkuaiyun.com/xiao_jun_0820/article/details/38116103前几篇文章只有一个项目的日志，现在我们考虑多个项目的日志的收集，我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类，稍微改动了一下JSON字符串的输出，将以前requestUrl中的"reporter-api

转自：http://www.aboutyun.com/thread-7884-1-1.html1.如何实现flume端自定一个sink，来按照我们的规则来保存日志？2.想从flume的配置文件中获取rootPath的值，该如何配置？最近需要利用flume来做收集远端日志，所以学习一些flume最基本的用法。这里仅作记录。远端日志收集的整体思路是远端自定义

转载：http://blog.youkuaiyun.com/simonchi/article/details/43308677概览flume-ng中最重要的核心三大组件就是source,channel,sinksource负责从源端收集数据，产出eventchannel负责暂存event，以备下游取走消费sink负责消费通道中的event，写到最终的输出端上

flumeng收集日志并存储到HDFS转载：http://blog.youkuaiyun.com/lskyne/article/details/37567489两台机器agent1收集日志，传送到agent3，agent3上传日志到HDFSagent1配置：[plain] view plaincopyagent1.sources=

Flume-ng学习资料http://blog.youkuaiyun.com/xiao_jun_0820/article/category/2399621