ELK日志文件分析系统——概念

原创

已于 2025-06-14 14:30:53 修改 · 1.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#elk

于 2025-06-13 18:23:08 首次发布

ELK基本概念

ELK 是三个开源项目的首字母缩写：

‌Elasticsearch‌: 一个分布式、RESTful 的搜索和分析引擎。它是整个栈的核心，负责存储、索引和快速检索海量数据。
‌Logstash‌: 一个服务器端的数据处理管道，用于从多种来源同时采集、转换数据，并将其发送到像 Elasticsearch 这样的“存储库”中。
‌Kibana‌: 一个针对 Elasticsearch 的开源数据可视化和探索工具。它提供图表、图形、地图和其他方式来理解和呈现数据。

随着发展，一个轻量级的数据采集器家族 Beats 被引入，用于替代 Logstash 在某些场景下的采集工作，形成了现在更为完整的 ‌Elastic Stack‌ (Beats + Logstash + Elasticsearch + Kibana)。

‌核心目标：‌ Elastic Stack 的核心使命是让用户能够‌集中地、实时地‌采集、存储、搜索、分析和可视化‌任何来源、任何格式‌的日志、指标、应用程序跟踪、网络数据等，从而实现运维监控、安全分析、业务洞察等目标。

一、架构详解

Elastic Stack 遵循一个清晰的、可扩展的管道式架构：

‌数据源层 (Data Sources):‌
- 产生数据的各种系统：应用程序日志文件（Web服务器如 Nginx/Apache，应用如 Spring Boot, Node.js）、系统日志（Syslog）、安全日志（Auditd）、数据库日志、网络设备日志（防火墙、交换机）、容器日志（Docker, Kubernetes）、云服务日志（AWS CloudTrail, Azure Monitor）、消息队列（Kafka, RabbitMQ）、IoT 设备数据、业务指标数据等等。
‌数据采集代理层 (Data Shippers - Beats):‌
- ‌角色：‌ 轻量级、单一用途的数据采集器。部署在数据源所在的服务器或容器中。
- ‌代表组件：‌
  - Filebeat: 采集日志文件。
  - Metricbeat: 采集系统和服务（如 Redis, MySQL, Nginx）的指标。
  - Packetbeat: 网络流量分析（应用层协议）。
  - Auditbeat: 采集 Linux 审计框架（auditd）的审计日志和文件完整性监控。
  - Heartbeat: 服务可用性监测（ICMP, TCP, HTTP）。
  - Winlogbeat: 采集 Windows 事件日志。
  - Functionbeat: 采集云服务商的无服务器函数（Serverless）日志。
- ‌优势：‌ 资源消耗极低（Go语言编写），配置简单，只负责采集和初步结构化（如多行日志合并），通常将数据直接发送给 Logstash 进行更复杂的处理，或者直接发送给 Elasticsearch（如果不需要复杂处理）。
‌数据处理与路由层 (Data Processing & Routing - Logstash):‌
- ‌角色:‌ 强大的数据管道引擎。接收来自 Beats 或其他来源（如 TCP/UDP, Kafka）的数据流。
- ‌核心功能 (Pipeline):‌
  - ‌Input:‌ 定义数据来源（如 beats, kafka, file, tcp）。
  - ‌Filter (核心):‌ 对数据进行复杂的解析、转换和丰富。
    - grok: 使用正则表达式解析非结构化日志为结构化字段（最常用）。
    - mutate: 重命名、删除、替换字段值，数据类型转换。