CentOS7.4部署EFK

CentOS7.4部署EFK最新版

一、简单介绍

ELK是一套解决方案，是Elasticsearch、FileBeat、Kibana三个开源软件的缩写。ELasticsearch 负责日志分析和存储，FileBeat负责日志收集，Kibana负责界面展示。它们之间互相配合，完美衔接，满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。

EFK和ELK的区别在于将收集日志的组件由 Logstash 替换成了 FileBeat。
FileBeat相比于Logstash有两个优点：
侵入低，无需修改 elasticsearch 和 kibana 的配置；
性能高，IO 占用率比 logstash 小；

Logstash 相比于 FileBeat 也有一定的优势。对于日志的格式化处理能力，FileBeat 只是将日志从日志文件中读取出来，如果收集的日志本身是有一定格式的，FileBeat 也可以格式化，但与Logstash 来说，效果差一些。

Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。

Filebeat 隶属于 Beats。目前 Beats 包含六种工具：

Packetbeat（搜集网络流量数据）
Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集 Windows 事件日志数据）
Auditbeat（ 轻量型审计日志采集器）
Heartbeat（轻量级服务器健康采集器）

Kibana可以为 Logstash 、Beats和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

另外，EFK 系统下的各个组件都比较吃内存，后期根据业务需要，EFK 的架构可进行扩展，当 FileBeat 收集的日志越来越多时，为防止数据丢失，可以引入 Redis，而 ElasticSearch 也可扩展为集群，并使用 Head 插件进行管理， 所以要保证服务器有充足的运行内存和磁盘空间。

二、EFK 搭建

在一台虚拟机上搭建 EFK 系统来收集 nginx 日志。

1、环境准备

在 elasticsearch 官网下载 EFK 安装包，Elasticsearch、Kibana、FileBeat一定要使用相同的版本，目前最新版本为 7.13.2

网盘下载地址：https://pan.baidu.com/s/1Jt00Pzjow_YK49w8zdI97g
提取码：x5xb

安装环境：centos7.4，4核8G。关闭filewalld、SE、swap

2、nginx部署

[root@localhost ~]# yum -y install glibc-devel gcc-c++ pcre-devel openssl openssl-devel
[root@localhost ~]# tar zxf nginx-1.14.0.tar.gz
[root@localhost ~]# cd nginx-1.14.0
[root@localhost nginx-1.14.0]# mkdir /usr/local/nginx
[root@localhost nginx-1.14.0]# ./configure --prefix=/usr/local/nginx --with-http_ssl_module
[roo