filebeat 获取nginx日志发送给ElasticSearch

最新推荐文章于 2025-02-14 19:23:28 发布

weixin_34050519

最新推荐文章于 2025-02-14 19:23:28 发布

阅读量571

点赞数

CC 4.0 BY-SA版权

文章标签：运维大数据 json

原文链接：https://yq.aliyun.com/articles/554465

本文介绍如何配置Nginx以输出JSON格式的日志，并使用Filebeat将这些日志收集并发送到Elasticsearch进行分析。具体步骤包括设置Nginx日志格式及Filebeat配置。

目的：通过filebeat获取nginx日志，发送给ElasticSearch，filebeat可以解析json格式日志，所以设置nginx日志为json格式。

1、配置nginx配置文件

    log_format jsonTest '{"@timestamp":"$time_iso8601",'

                  '"host":"$server_addr",'

                  '"service":"nginxTest",'

                  '"trace":"$upstream_http_ctx_transaction_id",'

                  '"log":"log",'

                  '"clientip":"$remote_addr",'

                  '"remote_user":"$remote_user",'

                  '"request":"$request",'

                  '"http_user_agent":"$http_user_agent",'

                  '"size":$body_bytes_sent,'

                  '"responsetime":$request_time,'

                  '"upstreamtime":"$upstream_response_time",'

                  '"upstreamhost":"$upstream_addr",'

                  '"http_host":"$host",'

                  '"url":"$uri",'

                  '"domain":"$host",'

                  '"xff":"$http_x_forwarded_for",'

                  '"referer":"$http_referer",'

                  '"status":"$status"}';

     access_log /var/log/nginx/access.log jsonTest;

定义jsonTest的json格式，其中trace是页面response headers的值 ctx-transaction-id，通过upstream_http_ctx_transaction_id可以获取头文件属性。

将日志输出到/var/log/nginx/access.log

2、配置filebeat配置文件

filebeat.prospectors:
- type: log

  paths:

   - '/root/front/logs/*.log'

  json.message_key: log

  json.keys_under_root: true
 
output.elasticsearch:

  hosts: ["*.*.*.*:9200"]