大数据系列 | 日志数据采集工具Filebeat的架构分析及应用

1. Filebeat的由来

   在介绍Filebeat之前，先介绍一下Beats。Beats是一个家族的统称，Beats家族有8个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、CPU及I/O等资源的消耗比较高。相比Logstash，Beats所占用的系统CPU和内存几乎可以忽略不计。
   目前Beats家族中有8个成员，如图所示：

   Filebeat是日志文件的轻量级采集工具。Filebeat监视你指定的日志文件或位置，收集日志事件，并将它们转发给Elasticsearch或Logstash。
   Filebeat和Logstash是有一定渊源的。Logstash是在JVM中运行的，资源消耗比较大，所以Logstash的作者后来又用Go语言写了 一个功能较少但是资源消耗也较小的轻量级工具Logstash-forwarder。Logstash的作者只有一个人，后来他加入了Elastic公司，Elastic公司有一个专门的Go语言团队正在开发一个开源项目Packetbeat。参考Packetbeat项目的命名格式，Logstash的作者将 Logstash-forwarder重命名为Filebeat

2. Filebeat原理架构分析

   Filebeat的工作原理如下图：
<