filebeat采集json日志到logstash

最新推荐文章于 2025-08-15 16:19:47 发布

原创

最新推荐文章于 2025-08-15 16:19:47 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

本文简要介绍如何配置filebeat和logstash来实现json日志的实时采集。首先，配置filebeat的yml文件，然后启动filebeat。接着，创建一个logstash的english.conf配置文件，并在logstash安装目录下运行该配置。当json日志内容变化时，logstash会自动处理并输出日志。最后，可以在kibana中查看到采集效果。

在这里只讲配置，不讲作用，建议看官网（https://www.elastic.co/cn/）。

filebeat

①配置filebeat.yml文件


 - type: log

   //开启监视，不开不采集
   enable: true

   paths:  # 采集日志的路径这里是容器内的path
   - /var/english.log

  #keys_under_root可以让字段位于根节点，默认为false
  json.keys_under_root: true

  #对于同名的key，覆盖原有key值
  json.overwrite_keys: true

  #message_key是用来合并多行json日志使用的，如果配置该项还需要配置multiline的设置，后面会讲
  json.message_key: message

  #将解析错误的消息记录储存在error.message字段中
  json.add_error_key: true

  # 日志多行合并采集（配置的时候一定要顶格写）
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after

  output.logstash:
  # The Logstash hosts
  hosts: ["192.168.22.68:5044"]

② 启动filebeat