lingzhiwangcn的专栏

.gz文件上载到hdfs中用 dfs -copyFormLocal的方式，上载后的文件正常，可以用mapreduce直接读取；用flume的方式，datastream类型，上载后mapreduce操作异常，为何呢？Error: java.io.EOFException: Unexpected end of input stream    at org.apache.hadoop.i

用flume提交文件到hdfs系统，并保持原来的文件名信息的配置方式：# 配置files_source# spoolingagent1.sources.files_source.type = spooldiragent1.sources.files_source.spoolDir = /tmp/flumetest/agent1.sources.files_source.file

1.6.0中修改：/apache-flume-1.6.0-src/flume-ng-core/src/main/java/org/apache/flume/client/arvro/package org.apache.flume.client.avro;public class ReliableSpoolingFileEventReader   priva

多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，则sinkgroup会启动一个sinkrunner,就是单线程，sinkgroup从channel中读取数据，然后分发到下面挂载的sink中，效率和单sink一样，没有提高，但是可以实

http://www.cnblogs.com/sunxucool/p/3906525.htmllume本身提供了http, ganglia的监控服务#flume应用参数监控bin/flume-ng agent -n consumer -c conf -f bin/conf.properties-Dflume.monitoring.type=http -Dflume.