ELK分布式日志系统

目录

日志管理方案：

ELK组件

ElasticSearch索引管理

logstash filter模块常用的插件

---

日志管理方案：

服务器数量较少时：
直接登录到目标服务器捞日志查看  --> 通过 rsyslog 或 shell/python 等脚本实现日志收集，并集中保存到统一的日志服务器

服务器数量较多时：
ELK 大型的日志系统，实现日志收集、日志存储、日志检索和分析

云原生 容器环境：
EFK   Loki+Granfana    SLS（阿里云）

ELK组件

Logstash           采集日志数据，通过插件模块对数据进行过滤、格式化处理，再输出给ElasticSearch

ElasticSearch      对日志数据进行分片、存储，并创建索引，方便全文检索
                   集群化部署，节点分三种类型：master/data/client，设置相同的cluster.name并使用Zen Discovery模块通过单播实现集群中节点的服务发现

Kibana             接入ElasticSearch的数据源，将日志数据进行图形化展示，方便用户通过浏览器查看、统计、分析日志

Filebeat           替代Logstash采集日志数据
Fluentd            替代Logstash采集日志数据和过滤转换等功能，常用于K8S容器环境

Kafka/Redis        作为MQ消息队列，实现流量削峰、缓冲