03-Elastic日志系统-filebeat-kafka-logstash-elasticsearch-kibana-6.8.0搭建流程

1. 介绍

前面写了使用redis作为中间缓存，消息队列，进行日志流的削峰，但是在使用的过程中，前期日志量不大的情况下，完全没有问题，当日志不断上升，redis队列不断堆积的时候，问题就来了，redis是内存型数据库，日子不能被即时消费的情况下，内存占用会不断上升，直至OOM，导致系统崩溃，当然logstash消费日志的速率也是一个问题。不过还是考虑换掉单节点redis，用三节点kafka吧，并且把elasticsearch的启动参数做了修改。下面只介绍换为kafka的配置，和遇到的问题，其他配置参考之前的文章。

2. 准备工作

节点：
192.168.72.56
192.168.72.57
192.168.72.58

2.1 软件版本

elastic相关软件全部使用6.8.0 rpm包安装
zookeeper：3.4.14，下载地址
kafka：2.11-2.4.0，下载地址

系统版本：CentOS Linux release 7.7.1908 (Core)

2.2 日志流

filebeat --> kafka集群 --> logstash --> elasticsearch集群 --> kibana

3. 配置zookeeper集群

我们使用了kafka外部的zookeeper集群，实际kafka安装包里面也有一个自带的zookeeper组件。参考：https://www.cnblogs.com/longBlogs/p/10340251.html

下面介绍配置

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -xvf zookeeper-3.4.14.tar.gz -C /usr/local
cd /usr/local
ln -sv zookeeper-3.4.14 zookeeper
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
mkdir -pv /usr/local/zookeeper/{data,logs}

节点一编辑配置文件zoo.cfg

# 指定数据文件夹，日志文件夹
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs

clientPort=2181

server.1=192.168.72.56:2888:3888
server.2=192.168.72.57:2888:3888
server.3=192.168.72.58:2888:3888
# 第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行