Centos7-ELK5.4.1+Filebeat安装配置

最新推荐文章于 2025-04-28 16:19:31 发布

转载最新推荐文章于 2025-04-28 16:19:31 发布 · 311 阅读

CC 4.0 BY-SA版权

原文链接：http://blog.51cto.com/13777088/2400811

本文介绍了ELK（Elasticsearch、Logstash和Kibana）组件，Elasticsearch是分布式搜索引擎，Logstash可收集分析日志，Kibana提供日志分析展示界面。还介绍了Filebeat日志收集器，给出下载地址，阐述工作原理，说明了服务器及环境，详细讲解配置基础环境、安装部署步骤，最后进行测试。

一、简介：
ELK为Elasticsearch、Logstash和Kibana三个组件组成：
Elasticsearch是一款开源分布式搜索引擎，它的特点有：分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口、多数据源等。
Logstash是一款完全开源的日志收集、分析、存储的软件。其可以对收集的日志进行格式化处理。
Kibana可以为Elasticsearch和Logstash的日志分析提供友好的web展示界面，可以进行日志汇总、分析和搜索等。
Filebeat是一个以logstash-forwarder的源码为基础的日志收集器，以客户端的形式安装在要被监控日志的服务器上，监控日志目录或日志文件(以查看文件尾的形式)，然后将日志数据转发给Logstash解析或者Elasticsearch建立索引。

二、下载地址：
官网地址：https://www.elastic.co/downloads
对应版本软件下载地址：
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz

三、ELK工作原理图
Centos7-ELK5.4.1+Filebeat安装配置

四、服务器及环境说明
1、服务器：

Centos7-ELK5.4.1+Filebeat安装配置

2、软件说明
Centos7-ELK5.4.1+Filebeat安装配置

五、配置基础环境
1、关闭所有服务器的防火墙及selinux
2、server-1与server-2服务器上配置JDK环境
#rpm -ivh jdk-8u131-linux-x64.rpm
3、配置系统参数
#echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl –p
编辑/etc/security/limits.conf文件，新增以下内容

soft nofile 65536
- hard nofile 65536
- soft nproc 65536
- hard nproc 65536
  六、安装部署
  1、server-1安装elasticsearch（所有源码包均下载至/opt）
  #cd /opt/ELK
  #tar xf elasticsearch-5.4.1.tar.gz && mv elasticsearch-5.4.1.tar.gz elasticsearch
  #cd elasticsearch/config
  Elasticsearch的配置信息
  
  新建es普通用户启动服务
  #useradd es
  #chown –R es.es /opt/ELK/elasticsearch
  #su es
  #cd /opt/ELK/elasticsearch
  启动服务
  #nohup bin/elasticsearch &
  查看端口监听状态

2、server-1安装Kibana
#cd /opt/ELK
#tar xf kibana-5.4.1-linux-x86_64.tar.gz && mv kibana-5.4.1 kibana
#cd /opt/ELK/kibana
Centos7-ELK5.4.1+Filebeat安装配置
启动服务
#nohup bin/kibana &
在server-1上安装nginx，配置将nginx的80端口代理至kibana监听的5601端口上（配置忽略）
3、server-2上安装Logstash
#cd /opt
#tar xf logstash-5.4.1.tar.gz && mv logstash-5.4.1 logstash
#cd logstash/bin

启动服务
#nohup ./logstash –f 1.conf &
4、server-3上安装Filebeat
#cd /opt
#tar xf filebeat-5.4.1-linux-x86_64.tar.gz && mv filebeat-5.4.1 filebeat
编辑filebeat.yml文件
Centos7-ELK5.4.1+Filebeat安装配置
启动服务
#nohup ./filebeat &
七、测试
通过web界面访问，创建index patterns

查看日志