FEK组合分析nginx日志（Fluentd Elasticsearch kibana）

最新推荐文章于 2023-12-20 15:42:57 发布

原创

最新推荐文章于 2023-12-20 15:42:57 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何通过容器分别启动Fluentd和Elasticsearch，重点在于Fluentd的配置，包括连接地址、日志格式化以及通过标签分类。还提到了docker-compose启动方式以及遇到的问题和解决方案，如日志索引冲突和容器间通信超时的处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

容器分开创建

容器启动步骤

# elasticsearch
docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:6.6.1
# kibana
docker run -d --name kibana -p 5601:5601 docker.elastic.co/kibana/kibana:6.6.1
# fluentd
docker run -p 24224:24224 -v ./fluent.conf:/etc/fluent/fluent.conf forkdelta/fluentd-elasticsearch
#测试nginx容器
docker run -d --log-driver fluentd --log-opt fluentd-address=localhost:24224 --log-opt tag="nginx" --log-opt fluentd-async-connect --name nginx-test -p 8088:80 -v $PWD/nginx.conf:/etc/nginx/nginx.conf nginx

fluentd配置

vi fluent.conf

<source>
  @type forward
  port 24224
</source>

<filter nginx>
  @type parser
  format json
  key_name log
</filter>

<match nginx>
  @type elasticsearch
  host 192.168.71.128
  port 9200
  logstash_format true
  include_timestamp true
  logstash_prefix fluentd-