Nginx 日志接入 Elastic Stack 系统

最新推荐文章于 2024-08-27 10:12:43 发布

haozlee

最新推荐文章于 2024-08-27 10:12:43 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：后台文章标签： nginx elasticsearch json filebeat

本文链接：https://blog.youkuaiyun.com/lihao21/article/details/78784881

后台专栏收录该内容

41 篇文章

订阅专栏

本文介绍如何将Nginx日志接入ElasticStack日志系统，并通过Kibana展示。主要内容包括配置Nginx日志为JSON格式、Filebeat采集日志、配置输出到Elasticsearch及Kibana上的索引创建。

文章《搭建 Elastic Stack 日志系统》描述了如何利用 Kibana，Elasticsearch，Filebeat 来搭建日志系统。本文在上一篇 Elastic Stack 文章的基础上，说明如何将 Nginx 的日志接入 Elastic Stack 日志系统。

为了更新在 Kibana 上展示 Nginx 的日志，可以先将 Nginx 的日志改成 json 格式，如何更改 Nginx 的日志格式，可以参考文章《Nginx 日志改成 JSON 格式》。

假设我们的 Nginx 访问日志路径为 /usr/local/nginx/logs/access.log ，错误日志路径为 /usr/local/nginx/logs/error.log，那么我们的 Filebeat 配置可以这样写：

filebeat.prospectors:

- input_type: log 
  paths:
    - /usr/local/nginx/logs/access.log
  json.keys_under_root: true
  json.message_key:

- input_type: log
  paths:
    - /usr/local/nginx/logs/error.log

由于我们只对 Nginx 的访问日志以 json 的格式打印，错误日志并没有以 json 格式打印，因此我们使用了两个 input_type 的配置项。

Filebeat 提供对 json 格式日志的处理功能。我们设置json.keys_under_root以打开 Filebeat 解析 json 日志功能。有关 json 日志解析的配置，可以参考官网的介绍，此处不再贅述，参考链接：https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#config-json。

配置完 Filebeat 的输入后，我们接下来配置 Filebeat 的输出。

output.elasticsearch:
  hosts: ["10.88.102.179:9200"]
  index: "nginx-%{+yyyy.MM.dd}"

由于使用 Elasticsearch 来接收日志，所以需要配置 Elasticsearch 的地址 hosts。在 Kibana 中可能需要展示多个 index 的日志，为了区分，需要配置 index 的值，这里我们使用 nginx-%{+yyyy.MM.dd}，在 Kibana 中显示的 index 实际为 nginx-2017.12.12 这种形式。读者可以根据需要自行配置 index。

Filebeat 配置好后，重启 Filebeat 进程以让配置生效。最后我们转到 Kibana 配置新的 index。
打开 Kibana 页面，进入 Management - Index Patterns - Create Index Pattern，以创建一个新的 index。在 Index pattern 输入框输入 nginx-*，创建上面我们的 Nginx 日志索引。
创建好 index 后，在 Discover 中选择 nginx-* 索引，便可以看到 Nginx 的日志。

这里写图片描述