gearman实现分布式日志分析

分布式服务部署在多台机器上，统一查看日志是个很重要的需求。对日志量很大的应用，为不影响生产系统，可以通过thrift、protobuf等方式收集到日志中心，再使用hadoop+lucence进行分析。实时日志分析也可以用这个系统。最近团队在预言这个方案，以后有机会再和大家分享。而基于gearman的分布式日志查询系统，知识资源投入小，效果却很强大，可以有效处理在线debug的问题，把工程师从海量日志里解放出来，十分推荐。

 

另外要说明的是，gearman主要侧重于分布式任务指派。不要让gearman做它不擅长的事情，比如在gearman worker中返回大量计算结果等。这些通讯工作完全可以通过更擅长传输的mq搞定。

 

 

因为gearman的使用简单明了，网上已有的资料十分周全，这里不详细的描述。个人推荐几个连接：

 

扶凯：使用 Gearman 实现分布式处理

http://www.php-oa.com/2010/09/05/perl-gearman-distributed.html

 

python gearman library home page

http://samuelks.com/python-gearman/docs/

 

Tim Yang：利用Gearman来实现远程监控与管理

http://timyang.net/linux/gearman-monitor/