kerberos认证下kafka报错Bootstrap broker host:ip (id: -1 rack: null) disconnected

最新推荐文章于 2023-11-04 23:24:03 发布
原创 最新推荐文章于 2023-11-04 23:24:03 发布 · 1.4w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #kerberos

开启了kerberos认证后kafka运行kafka-console-producer.sh和kafka-console-consumer.sh报错
Bootstrap broker host:ip (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

编辑$KAFKA_HOME/config/ 下的producer.properties和consumer.properties文件，在末尾添加认证方式

sasl.mechanism=GSSAPI
security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka

运行脚本时指定配置文件

bin/kafka-console-producer.sh --broker-list host:ip --topic test --producer.config config/producer.properties

bin/kafka-console-consumer.sh --bootstrap-server host:ip --topic test --from-beginning --consumer.config config/consumer.properties
【kafka】kerberos认证下 kafka 报错Bootstrap broker host:ip (id: -1 rack: null) disconnected
九师兄
01-05 1万+
1.概述 本博文中的IP都是随便写的。 公司整了一个新的环境，然后我要进行适配，结果发现对方有认证，无法直接使用，使用控制台生产和消费的时候报错。 [domain_realm][root@10-sh kafka-console-producer.sh --broker-list 12.12.12.27:9092 --topic topic-test1 >xx [2022-01-05 13:21:28,723] WARN [Producer clientId=console-producer] Boot
开启了Kerberos的Kafka客户端配置
光于前裕于后的博客
05-25 1781
如果不做任何配置将会报错： WARN [Producer clientId=console-producer] Bootstrap broker xx:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient) 添加两个文件： # client.properties security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name=kafka # jaas
【kafka生产者启动报错】
weixin_42532865的博客
07-02 3458
因为之前在配置文件中写死了ip地址，所以现在这边启动的时候不能再使用localhost作为ip地址了。将localhos调整为配置文件中的ip即可： 1. 生产者： 2. 消费者： 消息收发成功
Kafka Exception：Bootstrap broker disconnected & Consumer disconnected
m0_56356993的博客
08-19 3023
解决方案：删除容器重新部署
Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
Java与大数据相关实践内容分享！
08-08 9677
Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
liman1002的专栏
09-28 3万+
现象描述： 代码连接本地kafka没有问题 能监听到监听的topic，可获取通道中的所有topic 将kafka放到服务器上，本地程序启动报异常，可获取kafka中所有的topic，但是监听topic不起作用 启动时，报下面两个异常 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected Connection to node -1 (localhost/127.0.0.1:9092) could not be establi
kafka生产者发送消息报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
chh0912的博客
10-13 3223
kafka报错
Spring Boot 集合 Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
dingxiaofeng66的博客
11-04 1732
查看了很多的资料，有的说Zookeeper的问题，或者是Kafka配置的问题，我都尝试看了好几遍。打开了防火墙 ，果然Spring Boot 和 Kafka 通畅了许多。最后发现竟然是 Linux 防火墙端口号没有打开的情况。
kafka报错：Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
y368769的博客
01-14 3万+
这是一个惨痛的教训 就在昨天我和我四个同事因为这个问题搞到了夜里十一点半，啊啊啊啊啊！！！太恶心了！！！ 在启动工程时，kafka报这个错误，在配置文件中配置kafka的依赖，和另一个服务器上配置的一模一样，但是在这个服务器上启动此工程就会出现这个问题???? 问题原因： kafka的版本有问题，在另一个服务器上使用的是2.1版本的kafka，但是在此台服务器上使用的是2.6版本的kafka，所以需要添加一项配置来解决： 解决方案; 在配置文件中添加kafka配置： spring.kafka.bootstr
kafka报错：Bootstrap broker IP:9092 (id: -1 rack: null) disconnected
sinat_27400825的博客
07-22 1万+
kafka报错非常不人性化，这个错误有可能是用户名密码没有设置
【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
拾级而上
05-09 1万+
Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected解决思路
spark消费kafka(cdh启用kerberos)
zhaolq1024的博客
11-01 1625
不生产博客，只是别人博客的裁缝 一入kerberos深似海，从此节操是个玩意儿 之前写过一篇spark消费kafka问题记录(cdh5.16.2)，主要记录了安装spark2后，spark的问题，和本地可以执行，而一提集群缺包的问题，这篇主要记录下启用kerberos后的一些问题 版本信息如下 集群启用kerberos后，想用命令行测下kafka kafka-topics --cre...
【kafka】kafka kerberos LoginException: nodename nor servname provided, or not known
九师兄
01-08 1096
1.概述 首先参考kafka的配置环境：【kafka】kerberos认证下 kafka 报错Bootstrap broker host:ip (id: -1 rack: null) disconnected ，然后我想在本地消费试试。 然后配置文件如下 temp/kafka_server_jaas.conf 文件配置如下 KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true sto
【牛客社区项目】 springboot整合kafka问题 Connection to node -1 (localhost/127.0.0.1:9092) could not be establis
兔兔子的编程日记
08-26 1950
Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
producer:WARN Bootstrap broker kafka2:9092 disconnected (org.apache.kafka.clients.NetworkClient)
wo1769815的专栏
04-24 1万+
详细报错信息如下： [root@kafka1 bin]# ./kafka-console-producer.sh -broker-list kafka1:9092,kafka2:9092,kafka3:9092 -topic test [2019-04-24 08:52:56,252] WARN Bootstrap broker kafka2:9092 disconnected (org.apa...
命令消费kafka报错(id: -1 rack: null) disconnected
weixin_43697701的博客
03-28 9329
WARN clients.NetworkClient: [Consumer clientId=consumer-console-consumer-52833-1, groupId=console-consumer-52833] Bootstrap broker xx.xx.xx.xx:9092 (id: -1 rack: null) disconnected
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
crazy_stone0002的博客
03-10 3444
1.当前环境使用的稳定版本组合 a.本套环境CDH经过四次升级，当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41 b.KAFKA版本为KAFKA-2.1.0-1.2.1.0.p0.115 c.SPA...
WARN org.apache.kafka.clients.NetworkClient - Bootstrap broker 127.0.0.1:9092 disconnected
热门推荐
厚礼谢特的博客
05-08 4万+
原因是producer client采用2.10.1.0版本，而kafka集群是2.10.0.0版本，不能兼容
kafka发送数据报错： Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
Gblfy_Blog
06-02 2974
kafka发送数据报错： Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
Bootstrap broker id -1 rack null disconnect
最新发布
07-26
<think>我们面对的问题是：Kafka生产者连接Broker时出现"Bootstrap broker id -1 rack null disconnect"错误。根据引用内容，这个错误通常与连接问题相关。以下将结合引用信息和常见解决方案，逐步解决此问题。 ### 错误原因分析 1. **网络连接问题**：生产者无法连接到Kafka Broker（引用[1][5]） 2. **配置错误**：`bootstrap.servers`配置不正确（引用[2][4]） 3. **版本不匹配**：客户端与Broker版本不兼容（引用[2]） 4. **防火墙/端口限制**：9092端口未开放（引用[5]） 5. **认证问题**：如Kerberos认证配置错误（引用[3]） --- ### 解决方案步骤 #### 1. 检查网络连通性（基础检查） ```bash # 测试Broker端口是否可达（将IP替换为实际Broker地址） telnet <broker_ip> 9092 # 或使用 nc -zv <broker_ip> 9092 ``` > 若不通则检查： > - 防火墙设置（引用[5]） > - 安全组规则（云环境） > - Broker是否监听正确IP（`advertised.listeners`配置） #### 2. 验证Broker配置 在Broker的`server.properties`中检查： ```properties # 确保监听地址正确（非127.0.0.1） listeners=PLAINTEXT://0.0.0.0:9092 # 确保广播地址与生产者可访问地址一致 advertised.listeners=PLAINTEXT://<公网IP或域名>:9092 ``` #### 3. 修正生产者配置（关键步骤） 在Java代码中显式设置`bootstrap.servers`： ```java props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "真实IP:9092"); // 非localhost（引用[2][4]） ``` #### 4. 检查版本兼容性 - 确保客户端版本与Broker版本匹配（引用[2]） - 版本不兼容时： - 升级/降级客户端库 - 或添加兼容性配置（如旧版客户端连接新版Broker需设置`security.protocol`） #### 5. 处理认证问题（若启用） - SASL/SSL/Kerberos认证需在生产者端配置（引用[3]）： ```java props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.mechanism", "GSSAPI"); props.put("sasl.kerberos.service.name", "kafka"); ``` #### 6. 检查防火墙（引用[5]） ```bash # 开放端口（CentOS示例） firewall-cmd --zone=public --add-port=9092/tcp --permanent firewall-cmd --reload ``` #### 7. 完整生产者配置示例 ```java Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.0.5:9092"); // 真实IP props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); // 高版本兼容性补充（若Broker版本≥2.x） props.put("security.protocol", "PLAINTEXT"); try (Producer<String, String> producer = new KafkaProducer<>(props)) { producer.send(new ProducerRecord<>("test", "key", "value")); } ``` --- ### 调试流程总结 ```mermaid graph TD A[出现错误] --> B{网络是否可达？} B -->|不可达| C[检查防火墙/安全组] B -->|可达| D{配置是否正确？} D -->|错误| E[修正bootstrap.servers为真实IP] D -->|正确| F{是否启用认证？} F -->|是| G[添加安全协议配置] F -->|否| H[检查版本兼容性] H --> I[升级/降级客户端或添加兼容配置] ``` > **重要提示**：生产环境务必使用**IP或域名**而非`localhost`（容器环境需特别注意）[^1][^2][^5]。 --- ### 相关问题 1. 如何诊断Kafka网络连接问题？ 2. Kafka生产者与Broker版本兼容性如何判断？ 3. Kafka SASL认证如何配置？ 4. Docker容器中如何正确配置Kafka网络？[^1] [^1]: Docker容器网络配置问题导致连接失败 [^2]: 版本不匹配引发的连接中断 [^3]: Kerberos认证配置要求 [^4]: 生产者关键配置项说明 [^5]: 防火墙端口开放验证</think>### Kafka "Bootstrap broker id -1 rack null disconnect" 错误解决方案 此错误表明 Kafka 生产者无法连接到 Broker，以下是系统化的排查和解决方案： --- ### 一、核心原因分析 1. **网络连接问题**（最常见） - 生产者配置的 `bootstrap.servers` 地址无法访问 - 防火墙/安全组阻塞 9092 端口（引用[5]） 2. **配置错误** - 使用了 `localhost` 或 `127.0.0.1` 但实际需要真实 IP（引用[2][4]） - 客户端与 Broker 版本不兼容（引用[2]） 3. **Broker 未正常运行** - Kafka 服务未启动或崩溃 4. **认证问题**（如 Kerberos 环境）（引用[3]） --- ### 二、逐步解决方案 #### 第一步：检查网络连通性 ```bash # 测试 Broker 端口是否可达（替换实际IP） telnet <broker_ip> 9092 # 或使用 nc -zv <broker_ip> 9092 # 检查防火墙（Linux） sudo firewall-cmd --list-ports | grep 9092 # 无输出表示端口未开放 sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent sudo firewall-cmd --reload ``` #### 第二步：修正生产者配置（关键！） ```java // Java 生产者配置修正 Properties props = new Properties(); // 必须使用真实IP而非localhost（引用[2][4]） props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.1.100:9092"); // 添加版本兼容性配置（若Broker版本≥2.x） props.put("security.protocol", "PLAINTEXT"); // 其他必要配置 props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); ``` #### 第三步：验证 Broker 状态 ```bash # 进入Kafka容器/bin目录（引用[1]） docker exec -it kafka-container /bin/bash
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值