从一份定义文件详解ELK中Logstash插件结构

ELK栈中Logstash详解
最新推荐文章于 2024-08-16 18:44:59 发布
最新推荐文章于 2024-08-16 18:44:59 发布
阅读量66 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 运维 java
原文链接：https://yq.aliyun.com/articles/618462
本文深入探讨ELK栈中的Logstash，介绍其在日志数据收集、处理及输出中的关键作用，并详细解析Logstash插件机制及其定义语法。

Profile

概述

当下分布式系统的 日志收集、日志分析、日志处理、可视化 的热门技术栈方案当然非 ELK（ElasticSearch、Logstash、Kibana）莫属，从 L → E → K 构成了一条数据的 Pipeline管道：

  • Logstash：与数据源对接，用于收集、过滤处理你的日志、事务或其他数据
  • ElasticSearch： 是一个开源的，分布式 RESTful 搜索引擎，在 ELK中可以初略理解为数据存储的地方
  • Kibana：将 Elasticsearch 的数据分析并渲染为可视化的报表，便于高效分析

而且在我的前文《利用 ELK搭建 Docker容器化应用日志中心》之中，曾利用 ELK 搭建了一条数据管道，用作 Docker容器化应用的日志中心。

为什么先讲Logstash

作为与数据源 “直接对接” 的 Logstash，位置处于 ELK 数据管道的 最前端，其主要作用是 收集、过滤分析、输出 各种结构化或者非结构化的原始数据（典型的如日志数据），原始数据从 “无序变有序” 的重担就落在了Logstash的肩上了，因此其作用举足轻重。

说到Logstash，不得不说其中的 插件机制，其几乎所有的功能都是靠插件来实现的，因此灵活易用：

  • 关于 数据收集，Logstash 提供了输入插件来支持各种不同的数据源
  • 关于 数据分析，Logstash 则提供了过滤器插件来支持对输入原始数据的花式处理
  • 关于 数据输出，Logstash 也提供了各种输出插件，从而支持将结果数据输出到各种地方，比如标准控制台，文件，各种数据库包括 ElasticSearch 等

Logstash的插件管理

Logstash 插件是使用 Ruby开发的，Logstash 从很早的1.5.0+版开始，其插件模块和核心模块便分开维护，其插件使用的是 RubyGems包管理器来管理维护。所以 Logstash插件本质上就是自包含的RubyGems。

RubyGems（简称 gems）是一个用于对 Ruby组件进行打包的 Ruby 打包系统。 它提供一个分发 Ruby 程序和库的标准格式，还提供一个管理程序包安装的工具。

可以在网址 rubygems.org上搜索所有Logstash插件：

rubygems.org

关于插件的常用操作如下：

  • 安装插件

可以在线安装：

bin/plugin install [插件名称]

当然也可以将插件提前下载到本地，然后本地安装：

bin/plugin install path/logstash-xxx-x.x.x.gem
  • 卸载插件
bin/plugin uninstall [插件名称]
  • 更新插件
bin/plugin update [插件名称]

其会将插件更新到最新的版本

Logstash的插件定义语法结构

Logstash 插件的定义其实使用的就是一套其自定义的 DSL语法，我还是习惯用图来说明吧：

Logstash的插件结构

从图中可以看出主要包含以下几大部分内容：

1. 需要的依赖

该部分一般会用require语法引入如下依赖：

require "logstash/XXX/base"
require "logstash/namespace"
  • 前者引入 特定类型插件的依赖
  • 后者引入 模块命名空间
2. 类定义

需要用 class语法给每一个插件定义一个类，后面我会用实际代码说明

3. 配置插件名字

通过 config_name 语法来给插件取一个名字，这个名字将会用到 Logstash.conf 配置文件的插件配置之中

4. 配置选项设置

可以使用 config 语法来按需定义任意个配置项。可以设置配置选项的名字、数据类型、默认值以及是否为必选项：

举例：

config :percentage, :validate => :number, :default =>100
  • :percentage：定义配置项的名字
  • :validate：配置指定参数的数据类型，如此处为 number类型
  • :default：指定配置项的默认值
  • :required：用于指定配置项是否必选
5. 插件方法

每一种类型的插件都需要实现一些方法，如下表所示：

插件类型插件方法
输入插件register、 run
过滤器插件register、 filter
输出插件register、 receive
编解码插件register、 encode、 decode

Logstash 插件所具备的业务处理功能就来源于上述插件方法业务逻辑实现！

好了，理论部分总结到这，下面结合一份Logstash插件定义的源码来例析一下！

一份Logstash插件定义文件例析

我们以 Logstash 插件的官网给出的一个 Logstash 过滤器插件 logstash-filter-example 的源码为例来进行分析，麻雀虽小，五脏俱全！代码解析已经标注于图中，不再赘述。

logstash-filter-example插件源码

当然此处的实例给出的是一个入门实例，毕竟不可能在一篇篇幅有限的文章里给出一个太过复杂的 Logstash的插件源码。对照该源码和上一节的内容，我想应该不难理解Logstash的插件源码结构了吧。

计划后续展示一个 根据具体数据需求 来自定义开发一个满足特定需求的 Logstash插件的实例。

后记

作者更多的SpringBt实践文章在此：

如果有兴趣，也可以抽点时间看看作者一些关于容器化、微服务化方面的文章：

ELK——Logstash filter的使用和Kibana应用
w1206507055的博客
06-18 1037
Logstash filter 的使用和Kibana应用
ELK（ElasticSearch，Logstash，Kibana）入门详解
Jbase的博客
04-16 593
ELK由ElasticSearch，Logstash和Kiabana三个开源工具组成。 一，ELK概述 1 ，ELK 简介 ElasticSearch：是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful风格接口，多数据源，自动搜索负载等。 Logstash：是一个完全开源的工具，他可以对你的日志进行收集，分析，并将其存储供以后使用。...
logstash详解
qq_44027353的博客
08-16 5786
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。通过Logstash过滤器解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，最终将数据从源端传输到存储库中。机器宕机，数据也不会丢失;
logstash语法 结构
snail_bi的博客
11-19 333
配置结构以及插件位置 输入插件： input{ … } 过滤插件： filter{ … } 输出插件： output{ … } 数据类型 - Array users => [{id => 1,name => N1},{id => 2,name => N2}] - lists path => ["/var/log/messages","/var...
Logstash常用的filter四大插件
zx52306的博客
07-09 1629
自定义正则匹配格式：(?自定义的正则表达式)可以自定义为。
Logstash中的四大插件
jhy1798807161的博客
07-12 661
语法：(?举例：捕获10或11和长度的十六进制数的queue_id可以使用表达式(?filter {grok {如果表达式匹配失败，会生成一个tags字段，字段值为 _grokparsefailure，需要重新检查上边的match配置解析是否正确。
ELK日志分析系统概述及部署（图文详解）
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
03-04 3677
文章目录一、ELK日志分析系统1、日志服务器2、日志处理步骤二、Elasticsearch概述1、Elasticsearch特性三、LogStash概述1、LogStash主要组件四、Kibana概述1、Kibana主要功能五、部署ELK日志分析系统1、实验需求2、环境配置 一、ELK日志分析系统 ELK有三部分组成 E：Elasticsearch L：Logstash K：Kibana 1、日志服务器 优点 提高安全性 集中化管理 缺点 对日志分析困难 2、日志处理步骤 1、将日志进行集中化管理
1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词)
mijichui2153的博客
08-05 8760
elasticsearch安装
log4j入门到详解
11-02
**Log4j 入门与详解** Log4j 是 Apache 提供的一款开源的日志记录工具，主要用于...通过深入学习《log4j入门到详解》这份资料，你可以全面了解Log4j的各个方面，从基础用法到高级技巧，一步步提升你的日志管理技能。
ELK原理与介绍
aiduo4911的博客
12-13 2551
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，...
深入理解 ELK 中 Logstash 的底层原理 + 填坑指南
程序员高级码农的博客
01-26 1170
通过本篇内容，你可以学到如何解决 Logstash 的常见问题、理解 Logstash 的运行机制、集群环境下如何部署 ELK Stack。在使用 Logstash 遇到了很多坑，本篇也会讲解解决方案。日志记录的格式复杂，正则表达式非常磨人。服务日志有多种格式，如何匹配。错误日志打印了堆栈信息，包含很多行，如何合并。日志记录行数过多（100多行），被拆分到了其他的日志记录中。输出到 ES 的日志包含很多无意义字段。输出到 ES 的日志时间和本来的日志时间相差 8 小时。
logstash mysql报错_docker环境下配置logstash，连接mysq报错mysql-connector-java jar包找不到...
weixin_39805851的博客
12-21 607
问题描述：最近docker环境下配置logstash，在启动logstash后，报错mysql-connector-java的jar包找不到，提示TypeError: failed to coerce jdk.internal.loader.ClassLoaders$AppClassLoader to java.net.URLClassLoader。这个是因为logstash的容器环境内的JDK版...
logstash简介及架构（一篇精通直接上手）
Null的博客
07-04 8178
1、logstash介绍 数据收集处理引擎 ETL工具 2、logstash架构简介 Logstash Event是一个java object，它对外暴露了获取内部字段以及修改内部字段值的一些api。 下面举例讲解： stdin：标准输入 codec是line，这个codec的作用就是按照每一行切割数据，就是说把每一行都转换成logstash event stdout：标准输出 codec是json，这个codec的作用就是把每一个logstash event转换
Logstash结构与配置（十二）
抽象的螺旋
05-04 2351
概述 Logstash是一个类似实时流水线的开源数据传输引擎，它像一个两头连接不同数据源的数据传输管道，将数据实时地从一个数据源传输到另一个数据源中。在数据传输的过程中，Logstash还可以对数据进行清洗、加工和整理，使数据在到达目的地时直接可用或接近可用，为更复杂的数据分析、处理以及可视化做准备。 既然需要将数据搬运到指定的地点，为什么不在数据产生时，就将数据写到需要的地方呢？这个问题可以从以下几个方面理解。首先，许多数据在产生时并不支持直接写入到除本地文件以外的其他数据源。比如大多数第三方软件在运行中
通过logstash filter过滤屏蔽不需要的日志
focus on security
03-17 4612
下面是解决过滤屏蔽日志的logstash配置文件. Python #blog: xiaorui.cc #代码高亮有问题，大于可能会被转义成, 大家注意一下. input { file { type => "producer" path => "/data/buzzMaster/extractor.log" } } filter { if ([message] =~ "^xiaorui.cc") { drop {} } } output { stdout { codec => .
2、Logstash 篇之插件详解
李玉坤的博客
01-31 2181
文章目录input插件详解及glob讲解input PluginInput Plugin – stdinInput Plugin-file理论实现源码：Input Plugin – glob匹配语法Input Plugin - kafkacodec插件详解Codec PluginCodec Plugin – multilinefilter插件简介及date插件讲解Filter PluginFilt...
logstash开发自定义插件
c1052981766的专栏
03-02 4696
logstash开发自定义插件 1.介绍logstash插件结构                必须声明的方法：                Plugin typeMethodsInput pluginregister and run(queue)Filter pluginregister and filter(event)Output pluginregister and receiveCod...
聊聊Flume和Logstash的那些事儿
热门推荐
java的平凡之路
03-24 2万+
在某个Logstash的场景下，我产生了为什么不能用Flume代替Logstash的疑问，因此查阅了不少材料在这里总结，大部分都是前人的工作经验下，加了一些我自己的思考在里面，希望对大家有帮助。 本文适合有一定大数据基础的读者朋友们阅读，但如果你没有技术基础，照样可以继续看（这就好比你看《葵花宝典》第一页：欲练此功，必先自宫，然后翻到第二页：若不自宫，也可练功，没错就是这种感觉→_→）。
ELK中Logstash配置
最新发布
03-27
<think>嗯，用户之前问了关于Redis哨兵的配置，现在转向了ELK中的Logstash配置。首先，我需要确认用户对ELK的整体了解程度。ELK是Elasticsearch、Logstash和Kibana的简称，用于日志管理和分析。用户可能已经知道这一点，但需要详细讲解Logstash的配置。 用户可能在使用Logstash时遇到了问题，或者想优化现有的配置。考虑到他们之前的问题是关于配置的，这次可能想了解如何正确设置Logstash的配置文件，各个部分的作用，以及常见问题的解决方法。另外，用户可能需要具体的配置示例和最佳实践。 Logstash的配置包括输入、过滤和输出三个部分。输入部分负责数据来源，比如文件、Beats、Kafka等。过滤部分使用插件如Grok来解析和转换数据，输出则发送到Elasticsearch或其他存储。需要详细解释每个部分的配置语法和常用插件。 用户可能对Grok模式不太熟悉，这部分需要举例说明，比如如何解析常见的日志格式。此外，性能优化也是关键，比如调整工作线程、批量处理设置，以及如何处理高负载情况下的性能问题。 还要考虑用户的实际应用场景，比如他们是否处理的是Web服务器日志、应用日志，或是数据库日志。不同的日志类型可能需要不同的过滤策略。同时，用户可能关心错误处理和监控，比如如何处理解析失败的数据，如何监控Logstash的运行状态。 需要提供配置示例，展示一个完整的配置文件结构，并分步骤解释每个配置项的作用。此外，常见问题如性能瓶颈、日志解析错误、资源占用过高等，应该给出解决方案和建议。 最后，要确保回答结构清晰，分点说明，方便用户逐步理解和应用。可能还需要比较Logstash与其他工具（如Filebeat）的适用场景，帮助用户做出更适合的选择。</think>--- ### **ELK 中 Logstash 配置详解：数据管道的核心引擎** **Logstash** 是 ELK 技术栈（Elasticsearch + Logstash + Kibana）中的 **数据处理管道**，负责从多种来源采集、解析、转换数据，并输出到目标存储（如 Elasticsearch）。其核心价值在于 **统一数据格式** 和 **灵活的数据清洗能力**。 --- #### **一、Logstash 核心架构** Logstash 配置基于 **插件化管道**，由三阶段构成： ```text Input（输入） → Filter（过滤） → Output（输出） ``` | **阶段** | **功能** | **常用插件** | **典型场景** | | --- | --- | --- | --- | | **Input** | 数据采集 | `file`, `beats`, `kafka`, `jdbc` | 读取日志文件、接收 Beats 数据流 | | **Filter** | 数据清洗 | `grok`, `mutate`, `date`, `json` | 解析日志格式、转换字段类型 | | **Output** | 数据输出 | `elasticsearch`, `stdout`, `kafka` | 写入 Elasticsearch 或调试输出 | --- #### **二、Logstash 配置文件结构** 创建一个 `.conf` 文件（如 `logstash-sample.conf`），基本结构如下： ```ruby input { # 输入插件配置（例如从文件读取日志） file { path => "/var/log/nginx/access.log" start_position => "beginning" sincedb_path => "/dev/null" # 禁用 sincedb（测试时使用） } } filter { # 使用 Grok 解析 Nginx 访问日志 grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } # 转换字段类型（如将响应时间转为浮点数） mutate { convert => { "response" => "float" } } # 解析时间戳并替换默认 @timestamp date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => "@timestamp" } } output { # 输出到 Elasticsearch elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-access-%{+YYYY.MM.dd}" } # 调试时输出到控制台 stdout { codec => rubydebug } } ``` --- #### **三、关键配置解析** ##### **1. Input 插件配置示例** - **从文件采集日志**： ```ruby file { path => "/var/log/*.log" # 支持通配符 exclude => "*.gz" # 排除压缩文件 start_position => "end" # 默认从文件末尾读取（避免历史数据重复） } ``` - **接收 Filebeat 数据**： ```ruby beats { port => 5044 ssl => true ssl_certificate => "/path/to/logstash.crt" ssl_key => "/path/to/logstash.key" } ``` ##### **2. Filter 插件核心用法** - **`grok` 解析复杂日志**： ```ruby grok { match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:log_level} %{GREEDYDATA:message}" } # 若匹配失败，添加标签便于排查 tag_on_failure => ["_grokparsefailure"] } ``` - **预定义模式**：如 `%{COMBINEDAPACHELOG}` 可解析标准 Apache/Nginx 日志。 - **自定义模式**：在 `patterns_dir` 目录中创建自定义模式文件。 - **`mutate` 字段操作**： ```ruby mutate { rename => { "old_field" => "new_field" } # 重命名字段 remove_field => ["temp_data"] # 删除无用字段 split => { "tags" => "," } # 按分隔符拆分字段 } ``` - **`date` 时间处理**： ```ruby date { match => [ "log_timestamp", "UNIX_MS" ] # 解析 UNIX 毫秒时间戳 target => "@timestamp" # 覆盖默认时间戳 } ``` ##### **3. Output 插件配置技巧** - **写入 Elasticsearch**： ```ruby elasticsearch { hosts => ["http://es-node1:9200", "http://es-node2:9200"] index => "app-logs-%{+YYYY.MM}" # 按月份滚动索引 document_id => "%{fingerprint}" # 自定义文档 ID（避免重复） retry_on_conflict => 3 # 写入冲突时重试次数 } ``` - **输出到 Kafka**： ```ruby kafka { codec => json topic_id => "processed_logs" bootstrap_servers => "kafka1:9092,kafka2:9092" compression_type => "snappy" # 压缩减少带宽占用 } ``` --- #### **四、性能优化配置** 1. **管道线程与批量处理**： ```ruby pipeline { workers => 4 # 并行工作线程数（建议等于 CPU 核心数） batch_size => 125 # 单次处理事件数 batch_delay => 50 # 批次处理间隔（毫秒） } ``` 2. **内存与队列管理**： ```ruby queue { type => "persisted" # 启用磁盘持久化队列（防止数据丢失） max_bytes => "2gb" # 队列最大容量 } ``` 3. **JVM 调优**： 修改 `config/jvm.options`： ```text -Xms4g # 初始堆内存 -Xmx4g # 最大堆内存（建议不超过物理内存的 50%） ``` --- #### **五、调试与排查技巧** - **输出到控制台**： ```ruby output { stdout { codec => rubydebug # 格式化打印完整事件内容 } } ``` - **使用 `--debug` 模式启动**： ```bash bin/logstash -f logstash.conf --debug ``` - **监控 Logstash 状态**： - 查看 `/usr/share/logstash/logs/logstash-plain.log` - 使用 X-Pack 或 Prometheus 监控指标（如事件处理速率、内存使用） --- #### **六、典型问题解决方案** | **问题现象** | **可能原因** | **解决方案** | | --- | --- | --- | | Grok 解析失败 | 日志格式与模式不匹配 | 使用 [Grok Debugger](https://grokdebug.herokuapp.com/) 在线调试模式 | | 数据未写入 ES | 网络不通或索引权限问题 | 检查 `hosts` 配置，测试 `curl http://es-host:9200` | | CPU 占用过高 | Grok 正则复杂或线程过多 | 优化正则表达式，减少 `workers` 数量 | | 内存溢出 | JVM 堆内存不足 | 调整 `-Xmx` 参数，优化过滤器逻辑 | --- #### **七、最佳实践** 1. **字段规范化**： - 统一字段命名（如 `user_id` 而非 `uid`） - 删除冗余字段（如原始日志行 `message` 可在解析后移除） 2. **动态索引命名**： ```ruby index => "error-logs-%{+YYYY.MM.dd}" # 按天分索引 ``` 3. **多管道配置**： 在 `config/pipelines.yml` 中定义多个独立管道，隔离不同业务日志处理逻辑。 4. **与 Filebeat 分工**： - Filebeat 负责轻量级日志收集与传输 - Logstash 负责复杂数据处理（解析、富化） --- **总结**：Logstash 的配置灵活性是其核心优势，但也需要根据业务需求合理设计输入、过滤、输出链路。通过优化 Grok 模式、调整线程参数和监控资源使用，可显著提升数据处理效率。对于高吞吐场景，建议结合 Kafka 作为缓冲区，避免数据丢失。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值