wackycrazy的专栏

flume-ng 中 selector的使用在最近的项目中，需要用到flume。使用的是非常常见的结构：netcat source开启监听端口，接收发送来的报文消息，通过memory channel与sink（重写的roll file sink）写到本地磁盘。特别的是，这里需要根据报文的类型来发往不同的sink(暂且命名为sink1与sink2)。根据该需求，考虑有两种解决方案。方案一

最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿了。spooldir指定的文件夹中的文件一旦被修改，flume就会抛出一个exception，然后停在那儿了。其实，flume的最大问题就是不够鲁棒。一旦出现问题，不能跳过，只能死在那儿。不知道fl

最新的Flume-NG版本是1.5.2，下面介绍一下利用下午的时间编译源码的一些经验还有一些主要问题是如何解决的。工具/原料电脑 Windows7Flume源码包 1.5.2Maven版本：3.0.4Eclipse版本：4.3(Kepler)方法/步骤源码下载http://www.neoye.com

在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下：[plain] view plaincopytier1.sources=source1  tier1.channels=channel1  tier1.sinks=sink1    tier1.sources.source1.type=avro  tier1.sources.sourc