设计一套实时分布式日志流收集平台(tail Logs --->HDFS)
目前业界大概这么几个开源的分布式日志系统,notify+rsync,Facebook 的Scribe,apache的chukwa,linkin的kafa和cloudera的flume。
之所以自己设计一台这么一个平台,而没有采用开源,主要是基于这么考虑
1、以上这几种开源日志系统,虽然提供了日志tail实时输出的功能,但是在tail进程宕掉后,无法从收集的点开始收集,只能重新开始,这...
原创
2014-02-20 08:56:26 ·
156 阅读 ·
0 评论