prometheus-nginxlog-exporter构建Nginx日志监控

最新推荐文章于 2025-10-01 05:30:53 发布

原创

最新推荐文章于 2025-10-01 05:30:53 发布 · 4.7k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍如何使用prometheus-nginxlog-exporter解析Nginx日志，通过配置实现对CephRGW请求相关监控，包括响应计数、传输字节数及处理时间的监控。

lunimous 可以开启 dashborad
rgw 通过 prometheus-nginxlog-exporter 可以解析 Nginx 日志，还有一些正则可以去处理，然后通过 relabel 的配置，让其在指标数据上打上标签。

civetweb 没有在日志记录请求返回的时间，所以考虑用 Nginx 来替换，为了能给 Ceph RGW 加一个请求相关的监控，所以需要去解析日志，在 prometheus-nginxlog-exporter 中，通过配置文件，可以把标签和端口等设置好，然后让 prometheus 加上这个 endpoint 就可以拉出来数据了。

listen {
  port = 4040
}

enable_experimental = true

namespace "nginx" {
  source = {
    files = [
      "/var/log/nginx/access.log"
    ]
  }

  format = "$remote_addr - $remote_user [$time_local] \"$request\" $status $body_bytes_sent \"$request_time\""

  labels {
    app = "default"
  }

  #relabel "request" {
  #  from = "request"
  #}

  relabel "bucket" {
    from = "request"
    split = 2
    match "^/general__lingqu/.*" {
      replacement = "general__lingqu"
    }
  }
}

Nginx 日志。

xx.xx.xxx.x - - [26/Jun/2020:01:23:37 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/_SUCCESS HTTP/1.1" 200 0 "0.001"
xx.xx.xxx.x - - [26/Jun/2020:01:23:43 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00000 HTTP/1.1" 200 1165212977 "6.006"
xx.xx.xxx.x - - [26/Jun/2020:01:23:49 +0800] "GET /general__lingqu/kp/out/390280/n1590907415729/107916/20200601220441/part-00001 HTTP/1.1" 200 1180678766 "6.130"
xx.xx.xxx.x - - [26/Jun/2020:01:23:55 +0800] "GET /general

最低0.47元/天解锁文章