记录kafkachannel遇到的坑

最新推荐文章于 2023-05-03 17:10:56 发布

原创

最新推荐文章于 2023-05-03 17:10:56 发布 · 2.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#flume #kafka #kafkachannel

在尝试使用Flume 1.5与Kafka 0.11.0.2集成时遇到了Broker List未指定的配置异常。错误源于版本差异，Flume新版本与旧版配置方式不同。通过查看官方文档，发现Flume 1.5中定义Kafka Channel的topic应使用`topic`属性而非`kafka.topic`。正确配置包括设置`bootstrap.servers`及`topic`，解决了启动问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用kafkachannel时，启动flume报错
org.apache.flume.conf.ConfigurationException: Broker List must be specified
原因是我使用的flume的版本是1.5.0的，kafka是kafka_2.11-0.11.0.2，
kafka使用的是新版，而flume使用的比较老，在定义broker时，flume新老版本不一致

这个是我原来写的配置，这个是flume1.7以后才是这样写，所以会报上面的错

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a0.channels.c1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.kafka.topic = userif
#a0.channels.c1.parseAsFlumeEvent = false
a0.sources.r1.channels = c1```

解决就是把--bootstrap-servers 换成brokerList，或者换一个高一点的flume版本，为了确保万无一失，把zookeeper.jar 拷贝到flume的lib下

a0.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a0.channels.c1.brokerList = bigdata01:9092,bigdata02:9092,bigdata03:9092
a0.channels.c1.zookeeperConnect=192.168.136.150:2181
a0.channels.c1.kafka.topic = userif
a0.sources.r1.channels = c1