ELK平台的部署实践

原创

已于 2023-07-01 22:39:27 修改 · 768 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#elk #运维 #elasticsearch

于 2023-07-01 20:43:47 首次发布

该文章详细介绍了在一个内网环境中基于ElasticStack的ELK技术（Elasticsearch、Logstash、Kibana）搭建日志平台的过程，包括版本选择、安装包和Docker镜像准备、机器资源规划、各组件的部署配置、安全设置以及索引模式的配置。文章提供了从安装到优化的完整步骤，适用于系统管理员和运维人员参考。

ELK平台的部署实践

近期做了个日志平台项目，主要基于Elastic Stack 的ELK技术做日志的收集、过滤、存储等，现对相关部署操作及有关脚本做汇总整理，形成部署文档，以便自己更系统的掌握，也希望自己的总结能对读者有一定参考意义。

部署步骤

1、安装包准备
2、机器资源准备
3、部署
4、补充配置

一、安装包准备

关于版本的选择，在5月底项目调研时，elk 最新版已有7.x 和8.x版本。考虑到8.x版本的特性变化比较多，且8版本的JDK要求是17以上，因此项目上决定先用7.17.9版本，方便后续技术维护。

由于部署环境在内网环境，需要从elastic官网下载相关安装包和docker镜像同步到内网
https://www.elastic.co/cn/downloads/
https://www.docker.elastic.co/

http://xxx/elasticstack/7.x/yum/7.17.9/elasticsearch-7.17.9-x86_64.rpm
http://xxx/elasticstack/7.x/yum/7.17.9/kibana-7.17.9-x86_64.rpm

docker镜像：
xxx/docker.io/elastic/logstash:7.17.9
xxx/docker.io/elastic/filebeat:7.17.9

二、机器资源准备

xxx.165 \  xxx.169  \ xxx.204

规划：

xxx.165 :
  elasticsearch.node-1 
  metricbeat

xxx.169 :
 elasticsearch.node-2 
 kibana
 metricbeat

xxx.204 :
  elasticsearch.node-3 
  metricbeat

k8s:    应用服务是以Pod的形式运行在k8s环境，所以采集端也放在k8s上
   以DaemonSet 方式部署 filebeat  
   以Deployment 方式部署 logstash

三、部署

1、elasticsearch部署

(1) 、说明

基于rpm方式部署安装包，可以简化部署过程 , es 启动会议elasticsearch 用户来启动es服务，所以需要把相关的数据目录、新增的配置文件给elasticsearch用户添加权限，可以用chown 命令修改文件的归属，不修改时会造成启动异常。

(2) 、下载安装

wget http://xxx/elasticstack/7.x/yum/7.17.9/elasticsearch-7.17.9-x86_64.rpm
## 安装
rpm --install elasticsearch-7.17.9-x86_64.rpm
# 安装后配置文件及程序文件分别在如下目录
/etc/elasticsearch    /usr/share/elasticsearch

(3) 、创建数据和日志文件夹

 mkdir -p  /data/elasticsearch/data
 mkdir -p  /data/elasticsearch/logs
## 授权   必须要修改
chown -R elasticsearch:elasticsearch /data/elasticsearch/

(4) 、修改elasticsearch.yml 配置

cluster.name: log-es  
node.name: "node-1"  
path.data: /data/elasticsearch/data  
path.logs: /data/elasticsearch/logs  
bootstrap.memory_lock: false  
# 修改绑定的ip（默认只允许本机访问，修改为0.0.0.0后则可以远程访问）  
network.host: xxx.165
http.port: 9200  
discovery.seed_hosts: ["xxx.165", "xxx.169", "xxx.204"]  
cluster.initial_master_nodes: ["node-1","node-2","node-3"