filebeat上报数据异常排查

最新推荐文章于 2025-05-14 00:34:56 发布

原创

最新推荐文章于 2025-05-14 00:34:56 发布 · 2.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#linux #elk

在Kibana中发现无法查看最近的日志，问题源于filebeat配置的ignore_older参数。由于未设置close_inactive，导致harvester持续监控旧文件，影响性能。filebeat上报的日志出现延迟，堆积了旧数据。解决方案是添加close_inactive配置，并通过脚本处理日志以确保filebeat上报最新数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kibana上查不到最近的log，看了filebeat的log，发现一个问题

2021-06-07T07:53:18.169Z	INFO	log/input.go:596	File is falling under ignore_older before harvesting is finished. Adjust your close_* settings: /mnt/disks/warehouse/data_warehouse/sdk_report/report/receive.2021-06-01.log

思考了下，最近修改了filebeat的配置，主要是要上报的log太多，不想要上报太久之前的数据，就设置了ignore_older参数，配置如下:

filebeat.inputs:
- type: log
  enabled: true
  paths:
   - /mnt/disks/log_warehouse/roiquery_log
  tail_files: true
  multiline.pattern: ^\w+\s\[
  multiline.negate: true
  multiline.match: after
  tags: ["api.roiquery"]
  
- type: log
  enabled: true
  paths:
    - /mnt/disks/warehouse/data_warehouse/sdk_report/report/*.log
  tail_files: true
  ignore_older: 12h          # ignore files which were modified more than 12 hours
  close_inactive: 10m
  tags: ["data_collector"]

output.logstash:
        hosts: ["10.138.0.3:5044"]

processors:
 - add_host_metadata:
    when.not.contains.tags: forwarded
 - add_clou