elk部署详解( logstash的filter之grok)

最新推荐文章于 2025-03-06 08:29:17 发布

酱g

最新推荐文章于 2025-03-06 08:29:17 发布

阅读量5.8k

点赞数

分类专栏： elasticsearch 文章标签： logstash filter logstash grok

本文链接：https://blog.youkuaiyun.com/qq_33283716/article/details/81241225

版权

本文深入探讨Logstash的filter模块，特别是Grok解析器。介绍了Grok的内置表达式和自定义模式，以及如何利用Grok处理多文件日志并根据业务规则进行差异化解析。同时讨论了在filebeat中整合异常信息的技巧，并提到了Logstash filter组件的常用操作如添加和移除字段、标签。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

logstash的filter之grok

Logstash中的filter可以支持对数据进行解析过滤。

grok：支持120多种内置的表达式，有一些简单常用的内容就可以使用内置的表达式进行解析

https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns

自定义的grok表达式格式(?<usetime>PATTERN) usertime:

表示定义的字段名称 PATTERN：此处需要写正则表达式

filebeat采集输出到logstash

[root@bigdata-sg-a-01 log]# echo qq5201314 >>data.log


input { 
	beats {port => 5044} 
} 
filter{
	grok{
		match=>{"message"=>"%{NUMBER:usertime}"}
	}	
}
output { 
	stdout { codec => json} 
}



#################output 多了个usertime 字段
{"message":"qq5201314","@version":"1","@timestamp":"2018-07-27T09:21:32.080Z","offset":46,"input_type":"log","fields":null,"count":1,"beat":{"hostname":"bigdata-sg-a-01","name":"bigdata-sg-a-01"},"source":"/mnt/log/data.log","type":"log","host":"bigdata-sg-a-01","tags":["beats_input_codec_plain_applied"],"usertime":"5201314"}