EFK(Elasticsearsh+Filebeat+Kibana)——分布式日志收集系统(一)之安装与部署

最新推荐文章于 2025-10-27 14:00:57 发布

原创

最新推荐文章于 2025-10-27 14:00:57 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #分布式 #大数据 #linux #java

本文详细介绍了一套基于Elasticsearch、Filebeat和Kibana（EFK）的分布式日志收集系统的部署过程，包括各组件的功能介绍及具体安装步骤。

0 说明

本次EFK分布式日志收集系统节点安排如下：

主机名	主机ip	部署情况
chen-1	192.168.218.100	Elasticsearsh Logstash Filebeat Namenode ResourceManager ZK
chen-2	192.168.218.101	Elasticsearsh SecondaryNamenode Datanode Nodemanager ZK
chen-3	192.168.218.102	Elasticsearsh Datanode Nodemanager ZK
chen-4	192.168.218.103	Kibana Datanode Nodemanager
chen-5	192.168.218.104	Datanode Nodemanager

Filebeat和Logstash都具有日志采集功能，不同的是Filebeat是轻量级的，Logstash运行在JVM上，但其功能更强大。本文采用Filebeat+Logstash方式采集日志。

EFK各组件之间对版本比较敏感，在安装部署时，一定要保证版本一直，至少保证大版本一致。本文采用的版本是6.6.2的版本

1 EFK介绍

EFK不是一个软件，而是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。EFK是三个开源软件的缩写，分别表示：Elasticsearch , FileBeat, Kibana , 其中ELasticsearch负责日志保存和搜索，FileBeat负责收集日志，Kibana 负责界面,当然EFK和大名鼎鼎的ELK只有一个区别，那就是EFK把ELK的Logstash替换成了FileBeat，因为Filebeat相对于Logstash来说有2个好处：
1、侵入低，无需修改程序目前任何代码和配置
2、相对于Logstash来说性能高，Logstash对于IO占用很大
当然FileBeat也并不是完全好过Logstash，毕竟Logstash对于日志的格式化这些相对FileBeat好很多，FileBeat只是将日志从日志文件中读取出来，当然如果你日志本身是有一定格式的，FileBeat也可以格式化，但是相对于Logstash来说，还是差一点。