grok pattern 自定义

最新推荐文章于 2023-03-26 14:01:07 发布

转载最新推荐文章于 2023-03-26 14:01:07 发布 · 940 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/a-flydog/p/9709175.html

文章标签：

#java #操作系统 #大数据

本文介绍使用Logstash进行日志解析的方法，包括定义解析规则和使用grok模式匹配日志字段，如IP地址、时间戳、请求方法等。通过示例展示了如何将非结构化日志转化为结构化数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

eg：

日志

100.2.215.21 cnweb-01 [25/Sep/2018:03:45:03 +0800] "GET /test.html HTTP/1.1" "www.test.cn" 200 521 "0.000" "-" "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)" "100.28.246.114"

规则

%{IP:ip} %{NOTSPACE:name} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion}))" \"%{HOSTNAME:hostname}\" %{NUMBER:status} %{NUMBER:bytes} %{NOTSPACE:s} %{NOTSPACE:s1} %{NOTSPACE:s2} %{QS:ua} \"%{NOTSPACE:true_ip}\"

参考

https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns

https://grokdebug.herokuapp.com/

转载于:https://www.cnblogs.com/a-flydog/p/9709175.html