logstash过滤nginx日志

最新推荐文章于 2022-12-03 14:43:42 发布

转载最新推荐文章于 2022-12-03 14:43:42 发布 · 181 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/u/259976/blog/832804

文章标签：

#运维 #python #大数据

本文介绍如何配置Nginx的日志格式，并使用Logstash进行日志解析。通过定义特定的Pattern来匹配Nginx日志中的字段，利用Grok Debugger进行调试验证，最终将解析后的日志整合到Elasticsearch中进行高效查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

nginx日志格式

    log_format main '$host '
                    '$server_addr '
                    '$remote_addr '
                    '- '
                    '"$time_local" '
                    '$status '
                    '$body_bytes_sent '
                    '$request_time '
                    '"$http_referer" '
                    '"$request" '
                    '"$http_user_agent" '
                    '$pid';

安装pattern位置在：/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns 创建一个规则nginx

%{HOSTNAME:host} %{IP:resip} %{IP:clientip} - "%{HTTPDATE:timestamp}" %{INT:response} %{INT:body_bytes_sent} %{NUMBER:requesttime:float} %{QS:referrer} %{QS:request} %{QS:agent} %{NUMBER:ngxpid}

使用grok debugger进行调试 Grok debugger传送门

参考资料： LOGSTASH+ELASTICSEARCH+KIBANA处理NGINX访问日志

转载于:https://my.oschina.net/u/259976/blog/832804