Fluentd (td-agent) 日志收集系统

Fluentd是一个日志收集系统，它的特点在于其各部分均是可定制化的，你可以通过简单的配置，将日志收集到不同的地方。

目前开源社区已经贡献了下面一些存储插件：MongoDB, Redis, CouchDB,AmazonS3, Amazon SQS, Scribe, 0MQ, AMQP, Delayed, Growl等等。

安装

可参考http://docs.fluentd.org/categories/installation安装

此版本采用: Installingtd-agent for Redhat and CentOS  

http://docs.fluentd.org/articles/install-by-rpm

Fluentd 是由Ruby和C编写的，需要ruby进行，然而安装td-agent 是fluentd 的易安装版本，不用考虑太多的依赖关系。

1.首先please create /etc/yum.repos.d/td.repo with the followingcontents.

[treasuredata]
name=TreasureData
baseurl=http://packages.treasure-data.com/redhat/$basearch
gpgcheck=0
Then,you can install via yum command.

2. $ yumupdate
$ yuminstall td-agent

3. 安装完成后，可使用以下方式启动关闭服务。

$ /etc/init.d/td-agent start 

  $ /etc/init.d/td-agent stop 
$/etc/init.d/td-agent restart

4. 默认的 /etc/td-agent/td-agent.conf 为td-agent的配置文件

/var/log/td-agent/td-agent.log 为td-agent的日志文件

5. 查看td-agent的安装

6.查看ruby fluent插件的列表：ruby的安装路径在/usr/lib64/fluent/ruby/

fluent-plugin-tail-ex与fluent-plugin-tail-multiline为后期安装的插件，其他的为安装td-agent后默认安装的插件。

fluent-plugin-tail-ex：为输入扩展插件，支持对文件路径、日期的扩展

fluent-plugin-tail-multiline：为输入扩展插件，支持多行数据的收集，能够更好的收集异常信息。

5. 插件安装

   Fluent插件地址http://fluentd.org/plugin/

   两种安装方法：

1）  可以本地安装，下载gem安装包  https://rubygems.org/gems，推荐此方法

2）  ruby库远程安装

两种方法的安装命令为：$ /usr/lib64/fluent/ruby/bin/gem install 插件名称

6. 配置
首先我们编辑配置文件/etc/td-agent/td-agent.conf 中的source来设置日志来源

[plain]  view plain   copy

1. <source>  
2.  type tail  
3.  format apache