十分钟搭建一个EFK集群（elasticsearch、Filbeat、kibana）

二进制部署

ELK 介绍

ELK 是三个开源软件的缩写，提供一套完整的企业级日志平台解决方案。
分别是：

• Elasticsearch：搜索、分析和存储数据。
• Logstash ：采集日志、格式化、过滤，最后将数据推送到Elasticsearch存储
• Kibana：数据可视化。
• Beats ：集合了多种单一用途数据采集器，用于实现从边缘机器向 Logstash 和
  Elasticsearch 发送数据。里面应用最多的是Filebeat，是一个轻量级日志采集器，将采集的数据推送到Logstash、ES存储。

-l： 让shell成为登录shell，用 runuser -l PAM 文件替代默认的
-g：指定主要的组
-G 追加组
-c：命令，要传到shell的单个命令
--session-command=COMMAND：使用-c传递单个命令道shell中并且不创建新的会话
-m： 不重置环境变量

一，准备环境

环境信息：

主机名	操作系统版本	IP地址	服务
master	Centos7	192.168.67.154	elasticsearch-7.9.3、kibana-7.9.3
node1	Centos7	192.168.67.155	elasticsearch-7.9.3
node2	Centos7	192.168.67.156	elasticsearch-7.9.3

架构：

系统初始化：

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
#关闭selinux
sed -i ‘s/enforcing/disabled/’ /etc/selinux/config # 永久
setenforce 0 # 临时
#根据规划设置主机名
hostnamectl set-hostname
#添加hosts
cat >> /etc/hosts << EOF
192.168.67.154 elk1
192.168.67.155 elk2
192.168.67.156 elk3
EOF
# 创建用户
groupadd elk
useradd elk -g elk
# 创建数据及⽇志⽂件并授权
mkdir -pv /data/elk/{data,logs}
chown -R elk:elk /data/elk/

启动先决条件：
调整进程最大打开文件数数量

#临时设置
ulimit -n 65535
#永久设置，重启生效
vi /etc/security/limits.conf
* hard nofile 65535
* soft nofile 65535
#验证
ulimit -n

调整进程最大虚拟内存区域数量

#临时设置
sysctl -w vm.max_map_count=262144
#永久设置
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p

二，Elasticsearch安装

2.1 下载部署elasticsearch

2.1.1 下载安装

https://www.elastic.co/cn/downloads/elasticsearch

cd /opt/
#解压到当前⽬录
tar -xf elasticsearch-7.9.3-linux-x86_64.tar.gz -C .
mv elasticsearch-7.9.3-linux-x86_64 elasticsearch

#创建用户、授权
chown -R elk.elk elasticsearch

2.1.2 更改配置文件
更改elk1的配置文件：

vim elasticsearch/config/elasticsearch.yml
#必改配置
cluster.name: es-cluster # 集群名称
node.name: es01 # 集群节点名称
network.host: 0.0.0.0 # 监听地址
discovery.seed_hosts: [“192.168.67.154”, “192.168.67.155”,“192.168.67.156”] # 集群节点列表
cluster.initial_master_nodes: [“es1”] # 首次启动指定的Master节点
#可选配置
node.master: true 
node.data: true
path.data: /data/elk/data # 数据目录
path.logs: /date/elk/logs # 日志目录
bootstrap.memory_lock: false # 锁内存，尽量不使⽤交换内存
http.port: 9200 # 监听端口
#transport.tcp.port: 9300 #默认内部节点之间通信端口

更改elk2的配置文件：

vim elasticsearch/config/elasticsearch.yml

cluster.name: es-cluster # 集群名称
node.name: es02 # 集群节点名称
path.data: /data/elk/data # 数据目录
path.logs: /date/elk/logs # 日志目录
bootstrap.memory_lock: false # 锁内存，尽量不使⽤交换内存
network.host: 0.0.0.0 # 监听地址
http.port: 9200 # 监听端口
#transport.tcp.port: 9300 #内部节点之间通信端口
discovery.seed_hosts: [“192.168.67.154”, “192.168.67.155”,“192.168.67.156”] # 集群节点列表

配置文件说明:
在节点2或节点3不启用cluster.initial_master_nodes参数，注释掉
cluster.name: 集群名称，唯一确定一个集群。
node.name：节点名称，一个集群中的节点名称是唯一固定的，不同节点不能同名。
node.master: 主节点属性值
node.data: 数据节点属性值
network.host： 本节点的ip
http.port: 本节点的http端口
transport.port：9300 集群之间通信的端口，若不指定默认：9300
discovery.seed_hosts:节点发现需要配置一些种子节点，与7.X之前老版本：disvoery.zen.ping.unicast.hosts类似，一般配置集群中的全部节点
cluster.initial_master_nodes：指定集群初次选举中用到的具有主节点资格的节点，称为集群引导，只在第一次形成集群时需要。
path.data: 数据存放路径
path.logs: 日志存放路径
node.master:true 表示该节点是否可以被选举为主节点（master node）
node.data:true 表示该节点是否可以存储数据
jvm.option的设置(使用elastic用户)

#实际生产环境中计算公式：min（机器内存的一半，32GB内存）。也就是说：取机器环境内存的一半和32GB内存之间的小值。
vim /opt/elasticsearch/config/jvm.options
-Xms1g
-Xmx1g

2.1.3 启动elasticsearch

#控制台启动
./bin/elasticsearch
#后台启动
./bin/elasticsearch -d

#设置systemctl启动（Prod）

[Unit]
Description=Elasticsearch Server
After=network.target
[Service]
Type=forking
#Environment=JAVA_HOME=/data/soft/jdk1.8.0_191ExecStart=/opt/elasticsearch/bin/elasticsearch -p /tmp/elasticsearch.pid -d
ExecStop=kill -SIGTERM cat /tmp/elasticsearch.pid
Restart=always
User=es
Group=es
StandardOutput=journal
StandardError=inherit
LimitNOFILE=65536
LimitNPROC=4096
LimitAS=infinity
LimitFSIZE=infinity
TimeoutStopSec=0
KillSignal=SIGTERM
KillMode=process
SendSIGKILL=no
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

2.1.4 访问验证

curl http://192.168.67.154:9200
查看es健康状态： curl http://192.168.67.154:9200/_cat/health
查看集群节点：curl -XGET 'http://127.0.0.1:9200/_cat/nodes?pretty'
查询集群状态： curl -i -XGET http://127.0.0.1:9200/_cluster/health?pretty

• green：集群所有数据都处于正常状态
• yellow：集群所有数据都可以访问，但一些数据的副本还没有分配
• red：集群部分数据不可访问

2.2 安装图形页面管理ES

图形管理界面推荐：ElasticHD 、cerebro。

下载安装ElasticHD：

wget https://github.com/qax-os/ElasticHD/releases/download/1.4/elasticHD_linux_amd64.zip
unzip elasticHD_linux_amd64.zip
 nohup ./ElasticHD &
#访问：
http://192.168.67.154:9800

三，Kibana 安装

3.1 安装在es1上，二进制部署kibana。

cd /opt/elk 
tar zxvf kibana-7.9.3-linux-x86_64.tar.gz 
mv kibana-7.9.3-linux-x86_64 kibana 
#修改配置文件
vim config/kibana.yml
server. Port: 5601
server. Host: "0.0.0.0"
ogging.dest: /opt/kibana/logs/kibana.log
elasticsearch.hosts: ["http://192.168.67.154:9200","http://192.168.67.155:9200","http://192.168.67.156:9200"]
i18n.locale: "zh-CN"

配置系统服务管理

vim /etc/systemd/system/kibana.service

[Unit] 
Description=Kibana
Documentation=https://www.elastic.co
Wants=network-online.target
After=network-online.target

[Service] 
User=es
Group=es
#ExecStart=/opt/kibana/bin/kibana --allow-root 
ExecStart=/opt/kibana/bin/kibana
Restart=on-failure
LimitNOFILE=65536
[Install] 
WantedBy=multi-user.target

启动
systemctl start kibana
systemctl enable kibana
访问: http://192.168.67.154:5601

3.2 查看采集nginx日志
（1）查看filebeat日志

（2）访问kibana: http://192.168.67.154:5601
创建索引
进入 “Stack Management” -> “Kibana” 下的 “Index Patterns” 。
点击 “Create index pattern”，输入匹配你Filebeat索引的名称。Filebeat默认的索引模式通常是 filebeat-* -6。如果你的Filebeat版本是7.10.2，你可能会看到类似 filebeat-7.10.2 的索引-3。输入后如果能检测到索引，就可以进行下一步。

在步骤2中，选择 @timestamp 作为时间筛选字段-6。

查看日志
在discover中选刚刚创建的索引filebeat* ，就查看到了nginx日志。

四，filebeat安装使用

3.1下载安装。

 curl ‐L ‐O  https://www.elastic.co/cn/downloads/beats/filebeat/filebeat‐7.13.2‐linux‐ x86_64.tar.gz 
 tar xzvf filebeat‐7.13.2‐linux‐x86_64.tar.gz ‐C /usr/local/ 
 mv /usr/local/filebeat‐7.13.2‐linux‐x86_64 /usr/local/filebeat

3.2 修改 Filebeat配置文件。
该配置⽂件的所有者必须是root或正在执⾏Beat进程的⽤户。 该⽂件的权限
必须不允许除所有者以外的任何⼈写⼊，需要是0644的权限

配置方式一：使用Nginx模块（推荐）

(1)启用nginx模块
#在Filebeat安装目录下执行以下命令来启用Nginx模块
./filebeat modules enable nginx
##这个命令会自动将 modules.d/nginx.yml.disabled 重命名为 modules.d/nginx.yml
(2)配置nginx模块
vim /opt/filebeat/modules.d/nginx.yml

- module: nginx
  access:
    enabled: true
    # 请将路径修改为您的access.log实际路径
    var.paths: ["/usr/local/nginx/logs/access.log*"]
  error:
    enabled: true
    # 请将路径修改为您的error.log实际路径
    var.paths: ["/usr/local/nginx/logs/error.log*"]
（3）配置主文件输出

output.elasticsearch:
  hosts: ["192.168.67.154:9200", "192.168.67.155:9200", "192.168.67.156:9200"] # 您的ES集群地址
  # 如果Elasticsearch设置了认证，请填写用户名和密码
  # username: "elastic"
  # password: "your_password"

配置方式二
在主配置文件中定义日志输入

vim /opt/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log # 请替换为您的实际路径
  tags: ["nginx-access"]
 
 - type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/error.log # 请替换为您的实际路径
  tags: ["nginx-error"]

output.elasticsearch:
  hosts: ["192.168.67.154:9200", "192.168.67.155:9200", "192.168.67.156:9200"]
 outpu

配置等级，输出到kibana
当filebeat和kibana在一台机器上时候可不用配置。

fields:
    level: info
    review: 1

setup.kibana:
host: "192.168.30.136:5601"

路径的最后不能⽤ * 代替所有，必须有⼀个相对的匹配或者绝对的匹配。
/var/log/* 这样的匹配是错误的

3.3 检测配置文件：

./filebeat test config -c /opt/filebeat/filebeat.yml
./filebeat test output -c /opt/filebeat/filebeat.yml

3.4 Filebeat启动管理
（1）前台运行 采用前台运行的方式查看Filebeat获取的日志结果

./filebeat -e -c /opt/filebeat/filebeat.yml

（2）后台运行
使用nohup方式启动Filebeat到后台,日志结果可查看nohup.out文件
使用systemd管理的后台方式启动Filebeat进程不能查看输出日志，测试阶段勿用 配置systemd方式的Filebeat启动管理文件

nohup /usr/local/filebeat/filebeat -e -c /usr/local/filebeat/kafka.yml >/dev/null 2>&1 &

vim /etc/systemd/system/filbeat.service
[Unit]
Description=Filebeat
Documentation=https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/opt/filebeat/filebeat -c /opt/filebeat/filebeat.yml
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target

1. 给脚本赋权
   chmod +x /lib/systemd/system/elasticsearch.service
2. 设置开机启动
   #重新加载systemd的守护线程：
   systemctl daemon-reload
   systemctl enable elasticsearch

五，nginx安装

需要抓取nginx的日志，nginx和filebeat安装在同一台es1机器上。
yum -y install nginx

# 安装 PCRE 开发库
sudo yum install -y pcre pcre-devel
pcre-config --version #检查安装成功
# 同时安装其他可能的依赖
sudo yum install -y zlib zlib-devel openssl openssl-devel gcc gcc-c++
 openssl version -a
#下载安装包
https://nginx.org/en/download.html 
mkdir -p /opt/nginx
tar -zxvf nginx-1.18.0.tar.gz
mv nginx-1.18.0 nginx
#编译安装
./configure \
  --prefix=/usr/local/nginx \
  --with-http_stub_status_module \
  --with-http_ssl_module 
 make && make install

启动nginx

 # 查看 Nginx 版本
 /usr/local/nginx/sbin/nginx -v
 # 查看 Nginx 安装时的配置参数
 /usr/local/nginx/sbin/nginx -V
 
 # 直接启动一
 /usr/local/nginx/sbin/nginx
#systemctl启动二
vim /etc/systemd/system/nginx.service
[Unit]
Description=The nginx HTTP and reverse proxy server
After=network.target

[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s quit
PrivateTmp=true
User=root
Group=root

[Install]
WantedBy=multi-user.target

常见启动失败检查

优雅停止 /usr/local/nginx/sbin/nginx -s quit
快速停止 /usr/local/nginx/sbin/nginx -s stop
重新加载配置 /usr/local/nginx/sbin/nginx -s reload
测试配置	/usr/local/nginx/sbin/nginx -t
# 查看错误日志
tail -f /usr/local/nginx/logs/error.log
# 检查端口是否被占用
netstat -tunlp | grep 80
# 检查目录权限
ls -la /usr/local/nginx/

六，访问elasticsearch出现yellow

curl http://172.18.2.35:9200/_cat/health

1679992708 08:38:28 elasticsearch yellow 1 1 806 806 0 0 1 0 - 99.9%

curl http://172.18.2.35:9200/_cluster/health?pretty

{
  "cluster_name" : "elasticsearch",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 806,
  "active_shards" : 806,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 1,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 99.87608426270135
}

“unassigned_shards” : 1, 分片数为1，设置为0

curl -X PUT "172.18.2.35:9200/_settings" -H 'Content-Type: application/json' -d'{"number_of_replicas":0}'

查看elasticsearch的状态已经变成green了。

curl http://172.18.2.35:9200/_cluster/health?pretty
curl http://172.18.2.35:9200/_cat/health

filebeat后台启动
nohup /usr/local/filebeat/filebeat -e -c /usr/local/filebeat/kafka.yml >/dev/null 2>&1 &

logstash 后台启动
nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/bin/k_es.conf -w 8 -b 1000 > /dev/null 2>&1 &

kafka 后台启动
nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /dev/null 2>&1 &

KafkaStreamsLog 后台启动
nohup /usr/local/jdk/bin/java -Xms128m -Xmx512m -jar /usr/local/KafkaStreams/KafkaStreamsLog.jar > /dev/null 2>&1 &