logstash grok 解析nginx日志

最新推荐文章于 2024-09-26 13:00:00 发布

原创最新推荐文章于 2024-09-26 13:00:00 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

logstash 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Nginx的日志格式配置及使用grok进行日志模式匹配的方法，包括如何定义log_format来记录请求细节，以及通过grok正则表达式解析特定字段，如IP地址、HTTP请求方法、URL路径参数等。

nginx log format：

log_format main '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent" '
'"$upstream_http_x_sticky_vk" "$cookie_UID" "$upstream_cookie_UID" '
'$request_time $upstream_response_time '
'"$traffic_quality"';

grok pattern:

%{IP:ip} - - \[%{HTTPDATE:time}\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:http_status_code} %{NUMBER:size} \"(?<http_referer>\S+)\" %{QS:http_user_agent} \"(?<upstream_http_x_sticky_vk>\S+)\" \"(?<cookie_UID>\S+)\" \"(?<upstream_cookie_UID>\S+)\" %{NUMBER:request_time} %{NUMBER:upstream_response_time} \"(?<traffic_quality>\S+)\"