基于docker搭建单机版ELK+filebeat+kafka

上一节写了最简单架构的搭建和日志采集：传送门

主要有这几种架构方式

1. Elasticsearch + Logstash + Kibana

每台机器（客户端）上部署Logstash，logstash收集了数据直接往es里面写，es分析日志，kibana查询es的数据做展示。

这是一种最简单的架构。这种架构虽然是官网介绍里的方式，但是往往在生产中很少使用。因为这样要在每台机器上都部署logstash，资源消耗比较大。

2. Elasticsearch + Logstash + filebeat + Kibana

每台机器（客户端）上部署filebeat收集数据，filebeat往1台logstash里面写，logstash往es里面写，es分析日志，kibana查询es的数据做展示。

与上一种架构相比，这种架构增加了一个filebeat模块。filebeat是一个轻量的日志收集代理，优势是消耗非常少的资源(较logstash)， 所以生产中，往往会采取这种架构方式，但是这种架构有一个缺点，当logstash出现故障， 会造成日志的丢失。

3.  Elasticsearch + Logstash + filebeat + kafka(也可以是其他中间件，比如RabbitMQ) + Kibana

每台机器（客户端）上部署filebeat收集数据，filebeat往消息中间件集群写，1台logstash消费消息中间件集群然后往es里面写，es分析日志，kibana查询es的数据做展示。

这种架构是上面那个架构的完善版，通过增加中间件，来避免数据的丢失。当Logstash出现故障，日志还是存在中间件中，当Logstash再次启动，则会读取中间件中积压的日志。
 本节还是基于上一节的简单架构增加 filebeat和kafka组件完善

1. 下载镜像