rsyslog, logstash如何结合收集处理日志信息

rsyslog, logstash如何结合收集处理日志信息

一.  简介

      rsyslog是日志收集工具，现在很多Linux都自带rsyslog，用其替换掉syslog。

      rsyslog本身有一个配置文件 /etc/rsyslog.conf，里面定义了日志文件，以及相应保存的地址。

      Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。

二.  rsyslog, logstash如何结合收集处理日志信息

       一般通过rsyslog来收集日志信息，并发送到logstash。

       参照下面的设计图来自有赞官方博文： http://tech.youzan.com/you-zan-tong-ri-zhi-ping-tai-chu-tan/

       

      对于一些稳定的日志，比如系统日志或框架日志(如nginx访问日志、phpfpm异常日志等)，我们添加nginx配置，通过rsyslog写到本地目录local0，然后logstash根据其配置，会将local0中的增量日志上传到日志中心对应的topic中。

      注意： 这里的Nginx接入到rsyslog，需要先打补丁，支持接入rsyslog，之后就可以在Nginx的配置文件中直接配置到rsyslog的信息。

三. 参考资料

     1.  http://www.cnblogs.com/xing901022/p/4802822.html

     2.  http://blog.youkuaiyun.com/sdlyjzh/article/details/40855599