ELK系列(三)、安装Logstash插件及打包离线安装包

Logstash grok插件离线安装全攻略:从tar.gz到字段解析 日志数据是非结构化文本的重要来源,在进入可视化分析前需解析为结构化字段。Grok插件通过预定义正则模板,将复杂匹配封装为简洁语法,是Logstash管道中广泛使用的解析利器。它简化了IP、路径、时间戳等常见字段的提取,显著降低日志清洗成本。在在线环境可通过命令直接安装,但内网或版本受控环境下,离线安装logstash-filter-grok插件成为刚需。本文基于实际运维场景,围绕logstash-filter-grok 4.3.0.tar.gz离线包,介绍插件原理、版本校验、安装步骤、依赖处理及grok解析 阅读详情
AI摘要

本文详细介绍Logstash插件的在线与离线安装方法,包括插件类型、安装流程、国内源配置、离线包制作及安装,适用于生产环境无法连接公网的情况。

Logstash有input、output、filter、codec 四种插件类型,支持的种类也很丰富,功能特别强大。选对正确的插件可以节省很多的资源占用和开发效率。 生产环境一般都无法连接到公网,所以本篇就带大家如何在线安装,以及打包离线安装包,然后使用离线安装包进行离线安装。

ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0

ELK系列(二)、在Kibana中使用RESTful操作ES库

--------------------------------------Logstash插件安装及离线打包------------------------------------------------------------

Logstash数据处理流程:

input-->decode-->filter-->encode-->output

输入-->解码-->过滤-->编码-->输出

 

在线安装logstash插件

查看

插件介绍: https://www.elastic.co/guide/en/logstash/7.7/index.html

插件列表: https://github.com/logstash-plugins

查看当前已安装的插件:

cat $LS_HOME/Gemfile

配置

安装ruby

yum install ruby

下载rubygem2.6.12 :  https://rubygems.org/rubygems/rubygems-2.6.12.zip

解压并安装rubygems

unzip rubygems-2.6.12.zip

ruby rubygems-2.6.12/setup.rb

查看版本

gem -v 

 修改gem源为国内源

国内的gem源:https://gems.ruby-china.com/

#修改源
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
#查看
gem sources -l

 

配置 gemrc 文件

vim ~/.gemrc 
#增加下面内容,忽略 SSL 证书错误
:ssl_verify_mode: 0

 

安装

在线安装github的插件,插件名称在上面的github里找即可或者在下面的中国的gem源网页内搜关键字查找

bin/logstash-plugin install logstash-output-mongodb

使用命令cat Gemfile |grep xxx 或使用bin/logstash-plugin list 命令即可查看插件是否安装成功,若在Gemfile内即表示插件已安装成功 :

 

打包logstash插件的离线安装包

在上一步在线安装好了插件之后,我们也可以将该插件打包成zip包,在生产环境使用离线安装,使用下面的命令打包离线安装包,这里使用上面在线安装好的 logstash-output-mongodb 

bin/logstash-plugin prepare-offline-pack --overwrite --output logstash-output-mongodb.zip logstash-output-mongodb

 可以看到打包之后的插件的zip包里以logstash命名的文件夹,下面有一个dependencies目录和插件的gem文件,打开dependencies里面还是几个gem文件。

因此我们其实也可以直接打开国内的gem源:https://gems.ruby-china.com/

搜索logstash-output-mongodb并下载gem文件,然后按照上面的格式打成zip包,效果与上面的prepare-offline-pack打包的离线安装包一样。

使用离线安装包安装Logstash插件

上面一步我们已经成功的打包了logstash插件的离线安装包,使用下面的命令即可离线安装Logstash插件:

bin/logstash-plugin install file:///opt/app/logstash-7.7.0/logstash-output-mongodb.zip

 

如果对你有帮助,点个赞鼓励一下作者吧~ 谢谢!

阿里云ossjava源码-logstash-output-oss:日志输出-oss 阿里云 oss java源码Logstash OSS 输出插件 这是一个插件。 它是完全免费和完全开源的。 许可证是 Apache 2.0,这意味着您可以随意以任何方式使用它。 文档 该插件批量上传logstash事件到阿里云对象存储服务(阿里云OSS)。 首先,你应该有一个可写的bucket和OSS访问权限((通常是access_key_id和access_key_secret))。 OSS 输出插件会在将临时文件上传到 OSS 之前,在 OS 的临时目录中创建临时文件(您可以通过temporal_directory选项设置此配置)。 OSS输出插件输出文件格式如下 /tmp/logstash/oss/eaced620-e972-0136-2a14-02b7449ba0a9/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449ba0a9.2018-12-24T14.27.part-0.data /tmp/logstash/oss 由temporary_directory选项指定的操作系统的临时目录 eaced620-e972-0136-2 立即下载

相关推荐

鲸鱼优化算法(WOA)与门控循环单元(GRU)结合的预测模型(WOA-GRU)及其Python和MATLAB实现

Python和MATLAB的实现均突出模型结构和优化过程。2. **全局搜索与局部搜索结合**:WOA在寻优时,既有全局搜索的能力,又具备局部精准搜索的能力,能有效避免陷入局部最优解。2. **简化结构**:与长短期记忆(LSTM)相比,GRU的结构更为简化,避免了多层细胞结构,提高了计算效率。4. **使用WOA进行优化**:通过WOA迭代优化GRU模型中的参数,如学习率、批量大小和GRU单元的权重。3. **良好的表现**:GRU在多个时序数据序列的预测任务中表现优异,特别是在较短的数据序列中。

qq_45441438的博客 1326

linux下logstash插件的安装,以logstash-output-mongodb为例子

windows下的logstash插件安装简易。但是到了linux系统下因为层层的依赖关系,以及国外镜像网站的问题,安装简单的logstash也会爆出各种乱七八糟的问题。1.依赖准备依赖: yum ruby rubygem 我得吐槽下,打开logstash下的Gemfile这个文件,你会发现全是gem这种开头,excuse me?暂时不管它,按照正常官网的安装然后就找不到http地址。好吧!sou...

Software As Business 2208

未来智能家居解决方案:AI应用架构师的前沿探索

当你加班到深夜回家时,门锁自动识别你的脚步声解锁,玄关灯渐亮成你最爱的暖光,空调早已调到25℃(你夏天的习惯温度),音箱播放着最近循环的爵士乐,茶几上的智能水壶烧好了温水——这不是科幻电影,而是未来智能家居的日常。如何让“冰冷的设备”变成“懂你的伙伴”。我们将深入探讨五大前沿技术(边缘AI、多模态融合、联邦学习、数字孪生、个性化推荐)的底层原理,用“家里的小管家”“邻居互相学习”等生活化比喻简化复杂概念,结合代码示例与架构图还原实现流程,并通过智能卧室、智能厨房等真实案例展示落地路径。

AI天才研究院 1411

Logstash 7.7.1版本安装&系统梳理

上一篇文章介绍了 《ElasticSearch7.7.1集群搭建 & Kibana安装》,今天说一下 Logstash的安卓和配置;Logstash是一个开源的数据收集引擎,具有实时管道功能。它可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。Logstash常用于日志关系系统中做日志采集设备。Logstash的事件(logstash将数据流中等每一条数据称之为一个event)处理流水线有三个主要角色完成:inputs –> filters –> outputs。

李木 1536

PHP+MYSQL宠物主题动态网页设计源码+数据库,大学生期末大作业,PHP课程设计

PHP+MYSQL宠物主题动态网页设计源码+数据库,大学生期末大作业,PHP课程设计提示:本文采用PHP对数据库进行操作:本文就介绍了PHP实现对MySQL数据库的增删改查操作基础内容。

901

企业微信API实战:解密external_userid的跨应用一致性管理

本文深入探讨企业微信API中external_userid的跨应用一致性管理问题,解析其本质及在不同应用场景下的ID不一致挑战。通过ID转换与统一管理方案,结合unionid实现跨应用客户数据整合,提供实战代码示例和架构设计,助力企业构建高效的客户管理系统。

weixin_29258297的博客 637

windows下安装logstash(一)

前言 官网:https://www.elastic.co/fr/downloads/logstash 步骤 在bin目录下创建文件logstash.conf 内容如下 input { stdin{ } } output { stdout{ } } 启动命令 在bin目录下执行如下命令: logstash -f logstash.conf 访问 http://localhost:9600 ...

Meditation_Crazy 614

单相PWM整流器搭建训练——(一)拓扑原理介绍

单相整流器是一种将交流电转换为直流电的设备,主要由变压器、整流元件和滤波电路组成。变压器将输入的交流电压转换为适合整流的较低电压,整流元件(如二极管)利用其单向导电性将交流电转换为脉动直流电,最后滤波电路去除脉动直流电中的纹波,输出较为平滑的直流电,从而实现交流到直流的转换,广泛应用于各类电源设备中。

DikouNass的博客 1588

Windows安装Logstash

Logstash是 Elastic Stack 的中央数据流引擎,用于收集、丰富和统一所有数据,而不管格式或模式。当与Elasticsearch,Kibana,及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。

KingCruel的专栏 6349

饥荒联机版Mod开发——modmain环境与API深度解析

本文深入解析饥荒联机版Mod开发中的modmain.lua环境与核心API,详细讲解环境表构建原理、API注册与调用时机,并提供高级开发技巧与最佳实践。通过源码分析和实际案例,帮助开发者掌握Mod开发核心技术,解决常见问题,提升开发效率与代码质量。

weixin_30312563的博客 435

GPU 运维实战:H100/H800/B300 换卡与压测

(烧多久、看什么、什么算合格)。文末还给了一个能直接跑的验收判定脚本,三个真实场景的裁决输出都在。

老韩的Linux云计算架构师进阶之路 278

es-oss

2.关于logstash-output-oss。1.使用阿里云oss相关,冷数据备份3种方式。

u011739062的博客 395

【Simulink教程案例18】基于simulink的基础OFDM+64QAM发射接收链路仿真

OFDM(Orthogonal Frequency Division Multiplexing)即正交频分复用技术,实际上OFDM是MCM(Multi Carrier Modulation),多载波调制的一种。通过频分复用实现高速串行数据的并行传输, 它具有较好的抗多径衰落的能力,能够支持多用户接入。OFDM技术由MCM(Multi-Carrier Modulation,多载波调制)发展而来。OFDM技术是多载波传输方案的实现方式之一,它的。

FPGA/MATLAB学习教程/源码/项目合作开发 1990

ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0

ELK是目前最流行的日志分析套件,基于lucence,提供全文检索功能,ES是目前最快的索引型数据库并提供RESTful接口,对开发人员很友好,横向扩展,Logstash提供多种插件,支持各类日志格式的定制和插件并实时将日志内容写入ES或其他目标源,Kibana提供对ES数据的展示功能,多用于日志检索,实时报表。 ...

王义凯 的博客 1万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

如何进行Logstash logstash-input-jdbc插件的离线安装

我们单位的服务器位于隔离区,不允许链接互联网,因此整理了在ELK集群上离线安装Logstash的jdbc input插件的方法,供大家参考。 总体思路是需要一台中转的机器,这台机器需要能够访问互联网,先在这台机器中将需要安装的插件及依赖包制作成离线安装包,然后再拷贝到生产机器上安装。 打包 打包前的注意事项 1、确保需要打包的插件及其依赖插件都已经安装在中转机器上 2、执行./log...

aifeier1982的博客 604

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

ELK学习笔记之logstash安装logstash-filter-multiline(在线离线安装)

0x00 概述 ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题 github地址:https://github.com/logstash-plugins/logstash-filter-multiline 其他插件的地址:https://github...

dengxiangbao3167的博客 2057

ELK系列(四)、Logstash读取nginx日志写入ES中

前面讲了ELK的部署以及Logstash的插件的安装方式,本篇就介绍一下如何使用Logstash读取nginx的日志,并写入ES中,通过Kibana分析。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装包 -----------------------------使用Logstash读取nginx日志-------

王义凯 的博客 8803

ELK系列(七)、Filebeat+Logstash采集多个日志文件并写入不同的ES索引中

Logstash依赖于JVM,在启动的时候大家也很容易就能发现它的启动速度很慢很慢,但logstash的好处是支持很多类型的插件,支持对数据做预处理。而filebeat很轻量,前身叫logstash-forward,是使用Golang开发的,所以不需要有java依赖,也很轻量,占用资源很小,但功能也很少,不支持对数据做预处理。因此一般都是将filebeat+logstash组合使用,在每个节点部署filbeat,然后将监控的日志推送到数据缓冲层或直接推送到logstash集群内,配合redis或kafka做

王义凯 的博客 2万+

ganglia离线安装_ELK学习笔记之logstash安装logstash-filter-multiline(在线离线安装)

0x00 概述ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题普通日志如下:记录到es会的记录则是:我们希望的结果肯定是这样的0x01 原生安装# /usr/share/logstash/bin/logstash-plugin install logstash-fil...

weixin_33362939的博客 667

logstash 离线安装logstash-output-jdbc

离线安装logstash-output-jdbc插件

sxw1065430201的博客 1929

logstash接收多台服务器日志_10分钟了解logstash常用插件

在分布式日志服务技术栈ELK中,logstash承担着日志解析的工作,将接收到的日志按照某些规则解析到Elasticsearch对应的不同field中。本文将介绍logstash的一些常用插件,以及对插件的离线打包,避免每次手动安装插件。logstash本文主要分为4部分:插件的离线打包input插件filter插件output插件在使用插件之前,我们先明确一个概念:事件。Logstash 每读取...

weixin_30869777的博客 930

ELK系列(五)、Logstash修改@timestamp时间为日志的产生时间

上一篇讲了如何使用Logstash监控nginx日志并打印到控制台或导入到ES中,在kibana的discover中我们可以根据@timestamp时间对数据进行过滤和排序,但这里显示的@timestamp时间是指logstash读取到日志的时间而不是日志真正产生的时间,本篇就介绍如何配置使logstash在采集日志的过程中使用日志的真实时间戳作为消息体的时间戳,便于我们之后的分析 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系

王义凯 的博客 1万+

ELK系列(六)、修改Nginx日志为Json格式并使用Logstash导入至ES

前面我们介绍了使用logstash监控nginx日志,nginx日志默认是httpd格式的日志,对于开发人员来说,json格式更加友好,因此本篇我们就介绍如何修改nginx的默认日志格式,以及如何使用logstash的插件解析json格式的日志,然后写入到ES中。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装.

王义凯 的博客 4251

Logstash离线插件安装实战:依赖解析、打包与验证全流程

Logstash作为ELK数据管道核心,其插件运行依赖JRuby+Ruby+Java三层技术栈,本质是嵌入式混合运行时环境。理解插件的传递依赖机制、JRuby版本绑定、原生扩展ABI兼容性及logstash-plugin.yml元数据约束,是保障生产稳定的基础前提。技术价值在于规避DNS超时、证书校验失败、glibc符号缺失等离线典型故障,支撑金融、政务、能源等强隔离场景下的日志采集与处理。本文聚焦Logstash离线插件安装这一高频工程实践,系统覆盖依赖树提取、跨平台JAR/Gem/native资源打包、

weixin_28677451的博客 240

ELK系列(八)、使用Filebeat+Redis+Logstash收集日志数据

前面提到过,logstash占资源很大,filebeat更加轻量,一般都是组合使用,难免会有logstash宕掉的时候,这时候filebeat再往logstash里写数据就写不了了,这期间的日志信息可能就无法采集到了,因此一般都会采用redis或kafka作为一个消息缓冲层,本篇就介绍如何使用Redis作为数据缓冲层,将filebeat的数据落地到Redis中然后由Logstash消费并写入至ES。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.

王义凯 的博客 4657
上一篇: ELK系列(二)、在Kibana中使用RESTful操作ES库
下一篇: Nginx安装并配置开机自启
王义凯_Rick
王义凯_Rick 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 858粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值