ELK系列(三)、安装Logstash插件及打包离线安装包

Logstash grok插件离线安装全攻略:从tar.gz到字段解析 日志数据是非结构化文本的重要来源,在进入可视化分析前需解析为结构化字段。Grok插件通过预定义正则模板,将复杂匹配封装为简洁语法,是Logstash管道中广泛使用的解析利器。它简化了IP、路径、时间戳等常见字段的提取,显著降低日志清洗成本。在在线环境可通过命令直接安装,但内网或版本受控环境下,离线安装logstash-filter-grok插件成为刚需。本文基于实际运维场景,围绕logstash-filter-grok 4.3.0.tar.gz离线包,介绍插件原理、版本校验、安装步骤、依赖处理及grok解析 阅读详情
AI摘要

本文详细介绍Logstash插件的在线与离线安装方法,包括插件类型、安装流程、国内源配置、离线包制作及安装,适用于生产环境无法连接公网的情况。

Logstash有input、output、filter、codec 四种插件类型,支持的种类也很丰富,功能特别强大。选对正确的插件可以节省很多的资源占用和开发效率。 生产环境一般都无法连接到公网,所以本篇就带大家如何在线安装,以及打包离线安装包,然后使用离线安装包进行离线安装。

ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0

ELK系列(二)、在Kibana中使用RESTful操作ES库

--------------------------------------Logstash插件安装及离线打包------------------------------------------------------------

Logstash数据处理流程:

input-->decode-->filter-->encode-->output

输入-->解码-->过滤-->编码-->输出

 

在线安装logstash插件

查看

插件介绍: https://www.elastic.co/guide/en/logstash/7.7/index.html

插件列表: https://github.com/logstash-plugins

查看当前已安装的插件:

cat $LS_HOME/Gemfile

配置

安装ruby

yum install ruby

下载rubygem2.6.12 :  https://rubygems.org/rubygems/rubygems-2.6.12.zip

解压并安装rubygems

unzip rubygems-2.6.12.zip

ruby rubygems-2.6.12/setup.rb

查看版本

gem -v 

 修改gem源为国内源

国内的gem源:https://gems.ruby-china.com/

#修改源
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
#查看
gem sources -l

 

配置 gemrc 文件

vim ~/.gemrc 
#增加下面内容,忽略 SSL 证书错误
:ssl_verify_mode: 0

 

安装

在线安装github的插件,插件名称在上面的github里找即可或者在下面的中国的gem源网页内搜关键字查找

bin/logstash-plugin install logstash-output-mongodb

使用命令cat Gemfile |grep xxx 或使用bin/logstash-plugin list 命令即可查看插件是否安装成功,若在Gemfile内即表示插件已安装成功 :

 

打包logstash插件的离线安装包

在上一步在线安装好了插件之后,我们也可以将该插件打包成zip包,在生产环境使用离线安装,使用下面的命令打包离线安装包,这里使用上面在线安装好的 logstash-output-mongodb 

bin/logstash-plugin prepare-offline-pack --overwrite --output logstash-output-mongodb.zip logstash-output-mongodb

 可以看到打包之后的插件的zip包里以logstash命名的文件夹,下面有一个dependencies目录和插件的gem文件,打开dependencies里面还是几个gem文件。

因此我们其实也可以直接打开国内的gem源:https://gems.ruby-china.com/

搜索logstash-output-mongodb并下载gem文件,然后按照上面的格式打成zip包,效果与上面的prepare-offline-pack打包的离线安装包一样。

使用离线安装包安装Logstash插件

上面一步我们已经成功的打包了logstash插件的离线安装包,使用下面的命令即可离线安装Logstash插件:

bin/logstash-plugin install file:///opt/app/logstash-7.7.0/logstash-output-mongodb.zip

 

如果对你有帮助,点个赞鼓励一下作者吧~ 谢谢!

阿里云ossjava源码-logstash-output-oss:日志输出-oss 阿里云 oss java源码Logstash OSS 输出插件 这是一个插件。 它是完全免费和完全开源的。 许可证是 Apache 2.0,这意味着您可以随意以任何方式使用它。 文档 该插件批量上传logstash事件到阿里云对象存储服务(阿里云OSS)。 首先,你应该有一个可写的bucket和OSS访问权限((通常是access_key_id和access_key_secret))。 OSS 输出插件会在将临时文件上传到 OSS 之前,在 OS 的临时目录中创建临时文件(您可以通过temporal_directory选项设置此配置)。 OSS输出插件输出文件格式如下 /tmp/logstash/oss/eaced620-e972-0136-2a14-02b7449ba0a9/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449ba0a9.2018-12-24T14.27.part-0.data /tmp/logstash/oss 由temporary_directory选项指定的操作系统的临时目录 eaced620-e972-0136-2 立即下载

相关推荐

Matlab实战:12种优化算法在CEC2014测试集上的性能对比(附完整代码)

本文详细对比了12种优化算法在CEC2014测试集上的性能表现,包括PSO、DE、GA等主流算法。通过Matlab实现完整的实验流程,涵盖算法实现、参数设置、结果分析与可视化,为工程优化问题提供实用解决方案。特别关注收敛曲线和评价指标,帮助读者选择最适合特定场景的优化算法。

wine的专栏 681

linux下logstash插件的安装,以logstash-output-mongodb为例子

windows下的logstash插件安装简易。但是到了linux系统下因为层层的依赖关系,以及国外镜像网站的问题,安装简单的logstash也会爆出各种乱七八糟的问题。1.依赖准备依赖: yum ruby rubygem 我得吐槽下,打开logstash下的Gemfile这个文件,你会发现全是gem这种开头,excuse me?暂时不管它,按照正常官网的安装然后就找不到http地址。好吧!sou...

Software As Business 2208

华为Atlas200DK实战指南:从零搭建AI开发环境到人像语义分割模型部署

本文提供了一份详尽的华为Atlas 200DK AI开发环境搭建与模型部署实战指南。文章采用合设环境方案,从SD卡准备、系统镜像烧录、网络配置到必备工具安装,逐步引导开发者完成环境搭建。核心部分详细讲解了如何利用华为ATC工具将TensorFlow模型转换为昇腾专用格式,并最终成功编译和运行人像语义分割模型,实现实时人像识别效果。

weixin_29309213的博客 356

Logstash 7.7.1版本安装&系统梳理

上一篇文章介绍了 《ElasticSearch7.7.1集群搭建 & Kibana安装》,今天说一下 Logstash的安卓和配置;Logstash是一个开源的数据收集引擎,具有实时管道功能。它可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。Logstash常用于日志关系系统中做日志采集设备。Logstash的事件(logstash将数据流中等每一条数据称之为一个event)处理流水线有三个主要角色完成:inputs –> filters –> outputs。

李木 1536

华为海思2026届数字IC秋招笔试高频考点解析与实战技巧(2025最新版)

本文深入解析华为海思2026届数字IC秋招笔试的高频考点与实战技巧,涵盖时序优化、低功耗设计、DFT规则等核心模块。针对2025年最新真题,提供详细的解题思路和工程经验,帮助考生高效备考。特别关注SystemVerilog约束随机测试等新增考点,助力考生在秋招笔试中脱颖而出。

m2n3o4p5的博客 417

从零开始学习AI人工智能本体论:概念与实战

本文旨在为初学者提供一个全面而易于理解的人工智能本体论入门指南。我们将覆盖从基本概念到实际应用的全过程,帮助读者理解本体论在AI系统中的核心作用。核心概念与联系:介绍本体论的基本概念和原理核心算法与操作步骤:详细讲解本体构建和推理方法项目实战:通过实际案例展示本体论的应用实际应用场景:探讨本体论在不同领域的应用未来发展趋势:展望本体论在AI领域的前景本体论(Ontology): 在AI中,指对特定领域概念及其关系的明确形式化描述。

AI智能探索者的博客 868

windows下安装logstash(一)

前言 官网:https://www.elastic.co/fr/downloads/logstash 步骤 在bin目录下创建文件logstash.conf 内容如下 input { stdin{ } } output { stdout{ } } 启动命令 在bin目录下执行如下命令: logstash -f logstash.conf 访问 http://localhost:9600 ...

Meditation_Crazy 614

亚马逊爬虫实战:中国商家信息(电话)爬取

import os), # 保存图片的路径# 搜索关键词"keywords":["毛巾","衣服"],"product_number": 1000000000000000, # 分页获取数量# 和url一一对应 个数要一样"remarks": ["备注1"],# 以下内容非专业人员请勿更改,请找开发人员更改. 对应的是amazon_product_url_setting文件中名称.},

youbingchen的博客 1524

Windows安装Logstash

Logstash是 Elastic Stack 的中央数据流引擎,用于收集、丰富和统一所有数据,而不管格式或模式。当与Elasticsearch,Kibana,及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。

KingCruel的专栏 6349

五种音频器件综合对比——《器件手册--音频器件》

音频器件当在蜂鸣片的两片电极之间接通交流音频信号时,蜂鸣片会根据信号的大小和频率发生振动,从而产生相应的声音。结构简单、造价低廉。广泛应用于玩具、电子表、电子仪器、电子钟表、定时器等电子电器方面。蜂鸣器是一种一体化结构的电子讯响器,采用直流电源供电,广泛应用于各种电子产品中作发声器件有源蜂鸣器:内部带震荡源,通电即发声,程序控制方便。无源蜂鸣器:内部不带震荡源,需用方波驱动,声音频率可控,价格相对便宜。计算机、打印机、复印机、报警器、电子玩具、汽车电子设备、电话机、定时器等电子产品。

XU157303764的博客 1535

【C语言趣味教程】(0) 专栏介绍

这是一套C 语言趣味教学专栏,目前正在火热连载中,欢迎猛戳订阅!本专栏保证篇篇精品,继续保持本人一贯的幽默式写作风格,当然,在有趣的同时也同样会保证文章的质量,旨在能够产出"有趣的干货" !本系列教程不管是零基础还是有基础的读者都可以阅读,可以先看看目录!标题前带星号 (*) 的部分不建议初学者阅读,因为内容难免会超出当前章节的知识点,面向的是对 C 语言有一定基础或已经学过

有道无术, 术尚可求。有术无道, 止于术。 2万+

es-oss

2.关于logstash-output-oss。1.使用阿里云oss相关,冷数据备份3种方式。

u011739062的博客 395

基于瑞芯微RK3562 四核 ARM Cortex-A53 + 单核 ARM Cortex-M0——Linux应用开发手册

本文主要介绍TL3562-MiniEVM评估板的AMP(Asymmetric Multi-processing)开发案例,介绍基于Linux + RT-Thread(RTOS)、Baremetal的AMP案例的开发环境搭建。

创龙,嵌入式一体化解决方案商 411

ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0

ELK是目前最流行的日志分析套件,基于lucence,提供全文检索功能,ES是目前最快的索引型数据库并提供RESTful接口,对开发人员很友好,横向扩展,Logstash提供多种插件,支持各类日志格式的定制和插件并实时将日志内容写入ES或其他目标源,Kibana提供对ES数据的展示功能,多用于日志检索,实时报表。 ...

王义凯 的博客 1万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

如何进行Logstash logstash-input-jdbc插件的离线安装

我们单位的服务器位于隔离区,不允许链接互联网,因此整理了在ELK集群上离线安装Logstash的jdbc input插件的方法,供大家参考。 总体思路是需要一台中转的机器,这台机器需要能够访问互联网,先在这台机器中将需要安装的插件及依赖包制作成离线安装包,然后再拷贝到生产机器上安装。 打包 打包前的注意事项 1、确保需要打包的插件及其依赖插件都已经安装在中转机器上 2、执行./log...

aifeier1982的博客 604

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

ELK学习笔记之logstash安装logstash-filter-multiline(在线离线安装)

0x00 概述 ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题 github地址:https://github.com/logstash-plugins/logstash-filter-multiline 其他插件的地址:https://github...

dengxiangbao3167的博客 2057

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

ELK系列(四)、Logstash读取nginx日志写入ES中

前面讲了ELK的部署以及Logstash的插件的安装方式,本篇就介绍一下如何使用Logstash读取nginx的日志,并写入ES中,通过Kibana分析。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装包 -----------------------------使用Logstash读取nginx日志-------

王义凯 的博客 8803

ELK系列(七)、Filebeat+Logstash采集多个日志文件并写入不同的ES索引中

Logstash依赖于JVM,在启动的时候大家也很容易就能发现它的启动速度很慢很慢,但logstash的好处是支持很多类型的插件,支持对数据做预处理。而filebeat很轻量,前身叫logstash-forward,是使用Golang开发的,所以不需要有java依赖,也很轻量,占用资源很小,但功能也很少,不支持对数据做预处理。因此一般都是将filebeat+logstash组合使用,在每个节点部署filbeat,然后将监控的日志推送到数据缓冲层或直接推送到logstash集群内,配合redis或kafka做

王义凯 的博客 2万+

ganglia离线安装_ELK学习笔记之logstash安装logstash-filter-multiline(在线离线安装)

0x00 概述ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题普通日志如下:记录到es会的记录则是:我们希望的结果肯定是这样的0x01 原生安装# /usr/share/logstash/bin/logstash-plugin install logstash-fil...

weixin_33362939的博客 667

logstash 离线安装logstash-output-jdbc

离线安装logstash-output-jdbc插件

sxw1065430201的博客 1929

logstash接收多台服务器日志_10分钟了解logstash常用插件

在分布式日志服务技术栈ELK中,logstash承担着日志解析的工作,将接收到的日志按照某些规则解析到Elasticsearch对应的不同field中。本文将介绍logstash的一些常用插件,以及对插件的离线打包,避免每次手动安装插件。logstash本文主要分为4部分:插件的离线打包input插件filter插件output插件在使用插件之前,我们先明确一个概念:事件。Logstash 每读取...

weixin_30869777的博客 930

ELK系列(五)、Logstash修改@timestamp时间为日志的产生时间

上一篇讲了如何使用Logstash监控nginx日志并打印到控制台或导入到ES中,在kibana的discover中我们可以根据@timestamp时间对数据进行过滤和排序,但这里显示的@timestamp时间是指logstash读取到日志的时间而不是日志真正产生的时间,本篇就介绍如何配置使logstash在采集日志的过程中使用日志的真实时间戳作为消息体的时间戳,便于我们之后的分析 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系

王义凯 的博客 1万+

ELK系列(六)、修改Nginx日志为Json格式并使用Logstash导入至ES

前面我们介绍了使用logstash监控nginx日志,nginx日志默认是httpd格式的日志,对于开发人员来说,json格式更加友好,因此本篇我们就介绍如何修改nginx的默认日志格式,以及如何使用logstash的插件解析json格式的日志,然后写入到ES中。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装.

王义凯 的博客 4251

Logstash离线插件安装实战:依赖解析、打包与验证全流程

Logstash作为ELK数据管道核心,其插件运行依赖JRuby+Ruby+Java三层技术栈,本质是嵌入式混合运行时环境。理解插件的传递依赖机制、JRuby版本绑定、原生扩展ABI兼容性及logstash-plugin.yml元数据约束,是保障生产稳定的基础前提。技术价值在于规避DNS超时、证书校验失败、glibc符号缺失等离线典型故障,支撑金融、政务、能源等强隔离场景下的日志采集与处理。本文聚焦Logstash离线插件安装这一高频工程实践,系统覆盖依赖树提取、跨平台JAR/Gem/native资源打包、

weixin_28677451的博客 240

ELK系列(八)、使用Filebeat+Redis+Logstash收集日志数据

前面提到过,logstash占资源很大,filebeat更加轻量,一般都是组合使用,难免会有logstash宕掉的时候,这时候filebeat再往logstash里写数据就写不了了,这期间的日志信息可能就无法采集到了,因此一般都会采用redis或kafka作为一个消息缓冲层,本篇就介绍如何使用Redis作为数据缓冲层,将filebeat的数据落地到Redis中然后由Logstash消费并写入至ES。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.

王义凯 的博客 4657
上一篇: ELK系列(二)、在Kibana中使用RESTful操作ES库
下一篇: Nginx安装并配置开机自启
王义凯_Rick
王义凯_Rick 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 858粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值