一、ELK简介
ELK 是 Elasticsearch、Logstash、Kibana 三大开源工具的首字母缩写,现扩展为 Elastic Stack,新增轻量级数据采集器 Beats。其核心价值在于提供一套完整的日志管理、搜索分析和可视化解决方案,广泛应用于实时数据处理、业务监控、安全分析等领域。
二、核心组件详解
-
Elasticsearch
- 定位:分布式搜索与分析引擎,基于 Apache Lucene 构建。
- 特性:
- 实时数据存储与检索,支持全文搜索、结构化查询。
- 横向扩展能力强,数据分片与副本机制保障高可用。
- 适用场景:日志存储、商品检索、实时数据分析。
-
Logstash
- 定位:数据管道工具,负责采集、过滤、转发数据。
- 工作流程:
- Input:支持文件、Kafka、数据库等数据源。
- Filter:通过正则、Grok 解析日志,结构化原始数据。
- Output:将处理后的数据发送至 Elasti