flume性能调优

调优的出发点是因为在项目当中，那多个百兆的文件进行读写测试，发现默认配置在刚开始数据量较小的时候响应速度很快，但是随着数据量的增加，响应速度越来越慢。

我们知道，flume-ng agent包括source、channel、sink三个部分，这三部分都运行在JVM上，而JVM运行在linux操作系统之上。因此，对于flume的性能调优，就是对这三部分及影响因素调优。

1、source的配置
该项目中采用的是 taildir source，他的读取速度能够跟上命令行写入日志的速度，故并未做特殊的处理。

2、channel的配置
可选的channel配置一般有两种，一是memory channel，二是file channel。
建议在内存足够的情况下，优先选择memory channel。
楼主尝试过相同配置下使用file channel和memory channel，file channel明显速度较慢，并且会生成log的文件，应该是用作缓存，当source已经接收但是还未写入sink时的event都会存在这个文件中。这样的好处是保证数据不会丢失，所以当对数据的丢失情况非常敏感且对实时性没有太大要求的时候，还是使用file memory吧。。
楼主一开始的memory channel配置用的是默认的，然后控制台报出了如下警告：

The channel is full or unexpected failure. The source will try again after 1000 ms

这个是因为当前被采集的文件过大，可以通过增大keep-alive的值解决。深层的原因是文件采集的速度和sink的速度没有匹配好。
所以memory