记录一次filebeat 8.5.0 输出多个topic报错:“Dropping event: no topic could be selected”

报错:

报错的filebeat-xxx.yml文件:

filebeat.inputs:
################ Web logs ################
- type: log
  enabled: true
  tail_files: true
  scan_frequency: 5s
  backoff: 1s
  max_backoff: 10s
  paths:
    - /data/log/nginx/xxx.xxx.com*.log
  tags: ["web", "xxx"]                      
  fields_under_root: true
  fields:
    from: "xxx.xxx.com"
    log_topic: "xxx-xxx-web"


################ App logs ################
- type: log
  enabled: true
  paths:
    - /data/service/xxx/xxx/nohup.out
  tags: ["xxxx"]
  fields_under_root: true
  fields:
    from: "xxx-xxx"
    log_topic: "xxx-xxx-app"
  multiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d{2,12}\s'
  multiline.negate: true
  multiline.match: after


output.kafka:
  enabled: true
  hosts: ["x.x.x.x:xxxx"]
  topic: '%{[fields.log_topic]}'
  required_acks: 1
  compression: gzip
  keep_alive: 10s

报错原因:

因为output.kafka配置中的topic 取不到变量值,从而导致出现报错。

解决参考:

1、当配置fields_under_root: true时,output.kafka中的topic配置为topic: '%{[log_topic]}'

......
fields_under_root: true
  fields:
    from: "xxx-xxx"
    log_topic: "xxx-xxx-app"


output.kafka
......
  topic: '%{[log_topic]}'
......

 2、当配置未fields_under_root: true时,output.kafka中的topic配置为topic: '%{[fileds.log_topic]}'

......
  fields:
    from: "xxx-xxx"
    log_topic: "xxx-xxx-app"


output.kafka
......
  topic: '%{[fileds.log_topic]}'
......

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

I财源广进

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值