flume对接kafka产生的错误org.apache.flume.conf.ConfigurationException: brokerList must contain at least one

本文介绍了因Flume版本更新导致Kafka Sink配置变化而引发的问题及解决方法。作者从错误信息入手,详细分析了Flume 1.6与1.7版本中Kafka Sink配置项的不同,并给出了正确的配置示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境

flume-1.6.0-cdh5.7.0-bin
kafka_2.11-0.10.0.1

错误

这里写图片描述

圈出来的日志信息明显提示我们因为配置文件的错误导致我们sink挂了,所以产生下面的错误,org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker
开始我没有关注错误信息上面的日志信息,一直在查找下面这个错误的原因,后面发现原来是配置文件的原因。
错误如下:
因为我以前的flume版本是1.7的现在是1.6的,导致配置文件需要修改,去官网一看:

1.7版本:
a1.sinks.k1.kafka.topic =streaming_topic
a1.sinks.k1.kafka.bootstrap.servers = 192.168.137.130:90921.6版本:
a1.sinks.k1.topic = streaming_topic
a1.sinks.k1.brokerList = 192.168.137.130:9092

所以导致我的sink起不来。

总结:
遇到错误了一定要认真查看报错信息,一定要认真查看报错信息,一定要认真查看报错信息,重要的事情说三遍。
然后flume每个版本对应的配置信息可能不同大家一定要到对应的版本去查看。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值