Elasticsearch系列（二）—elk介绍，安装和配置

本文详细介绍ELK（Elasticsearch, Logstash, Kibana）日志管理系统的优势与应用场景，涵盖日志统一收集、分布式收集及高效查询，探讨ELK架构设计与环境搭建过程，适合日志管理和数据分析领域的专业人士阅读。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ELK 介绍

ELK是什么：log grep awk tail -nf |grep ，普通查询日志：量大，检索慢，历史数据，不安全
ELK优势
- 日志统一收集，分布式收集，提供查询界面
ELK应用场景：日志管理，

ELK架构设计

基础架构（解决50G以下日志）
- elasticsearch:提供查询，全文检索
- kibana:页面展示，以及方便查询
- logstash:收集日志
个性化设计
- filebeat:轻量级收集日志，速度快，配合logstash做过滤
- kafka:日志缓冲，减少logstash日志过大，导致es慢
es配置：日志分配，一片数据不要超过10G （8G内存，8CPU，500G）

ELK环境搭建

es安装
- 修改
- 启动：./elasticsearch -d
安装kibana
- 配置索引
- bin/kibana &
es集群配置文件

cluster.name: my-es
node.name: node-01
node.master: true
node.data: true
bootstrap.system_call_filter: false
network.host: 192.168.100.11
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["192.168.100.11","192.168.100.11:8300","192.168.100.11:7300"]
#discovery.zen.ping.multicast.enabled: true
discovery.zen.minimum_master_nodes: 2
## 支持插件跨域问题
http.cors.enabled: true
http.cors.allow-origin: "*"
#配置避免容灾出现
gateway.recover_after_nodes: 3
gateway.expected_nodes: 3
gateway.recover_after_time: 10m 
#初始化启动有效，超时时间从上一个配置中配置的N个节点启动后算起
discovery.zen.fd.ping_timeout: 5s