logstash input 添加多个kafka报错解决

最新推荐文章于 2024-04-18 04:24:46 发布

weixin_33861800

最新推荐文章于 2024-04-18 04:24:46 发布

阅读量868

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/guanfengasdd/p/9603140.html

本文解决Logstash同时接入多个Kafka数据源时遇到的client_id冲突问题，通过为每个Kafka输入定义唯一的client_id，成功避免了注册AppInfo时的InstanceAlreadyExistsException异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[WARN ][org.apache.kafka.common.utils.AppInfoParser] Error registering AppInfo mbean
javax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,id=test-0

logstash input 添加多个kafka会出现这个报错。是因为clientid唯一。
换了N个版本kafka和logstash 网上也找不到解决方法记录一下解决方法希望后面的同学们少走点弯路

解决方法：

需要在logstash添加不同的client_id 配置文件如下

input {

kafka {

bootstrap_servers => "192.168.1.11:9092,192.168.1.12:9092,192.168.1.13:9092"

client_id => "test1"
topics => ["test1"]

type => "test1"
codec => 'json'

}

kafka {

bootstrap_servers => "192.168.1.11:9092,192.168.1.12:9092,192.168.1.13:9092"

client_id => "test2"
topics => ["test2"]

type => "test2"
codec => 'json'

}

}

转载于:https://www.cnblogs.com/guanfengasdd/p/9603140.html