设计一套实时分布式日志流收集平台(tail Logs --->HDFS)

目前业界大概这么几个开源的分布式日志系统，notify+rsync，Facebook 的Scribe，apache的chukwa，linkin的kafa和cloudera的flume。

对这几款开源分布式日志系统的比较，参见这篇文章，讲的比较细致

http://dongxicheng.org/search-engine/log-systems/

之所以自己设计一台这么一个平台，而没有采用开源，主要是基于这么考虑

   1、以上这几种开源日志系统，虽然提供了日志tail实时输出的功能，但是在tail进程宕掉后，无法从收集的点开始收集，只能重新开始，这样有很多重复的日志

   2、这几种开源的日志系统功能比较全面，但是对我们平台来说，只用部分的功能，设计一个简单可用可控的平台是我们的一个目标

这篇文章讲述了笔者以前自己设计的一个日志收集平台的技术细节，在电商开放平台中有应用到。

应用场景是这样的，

平台中各个应用客户端会实时产生大量的日志，需要实时把各个应用客户端的日志收集起来，发送到分布式文件系统中，供后续的数据挖掘和分析。

数据会收集到HDFS中，每天定时生成一个文件（文件前缀为日期，后缀为序列号从0开始），并且当文件的大小超多一定大小时，自动生成一个新的文件，文件前缀为当前日期，后缀为当前序列号递增。

系统的运行架构图，以及相关说明