kerberos认证下kafka报错Bootstrap broker host:ip (id: -1 rack: null) disconnected

最新推荐文章于 2023-11-04 23:24:03 发布
原创 最新推荐文章于 2023-11-04 23:24:03 发布 · 1.4w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #kerberos

开启了kerberos认证后kafka运行kafka-console-producer.sh和kafka-console-consumer.sh报错
Bootstrap broker host:ip (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

编辑$KAFKA_HOME/config/ 下的producer.properties和consumer.properties文件，在末尾添加认证方式

sasl.mechanism=GSSAPI
security.protocol=SASL_PLAINTEXT
sasl.kerberos.service.name=kafka

运行脚本时指定配置文件

bin/kafka-console-producer.sh --broker-list host:ip --topic test --producer.config config/producer.properties

bin/kafka-console-consumer.sh --bootstrap-server host:ip --topic test --from-beginning --consumer.config config/consumer.properties
【kafka】kerberos认证下 kafka 报错Bootstrap broker host:ip (id: -1 rack: null) disconnected
九师兄
01-05 1万+
1.概述 本博文中的IP都是随便写的。 公司整了一个新的环境，然后我要进行适配，结果发现对方有认证，无法直接使用，使用控制台生产和消费的时候报错。 [domain_realm][root@10-sh kafka-console-producer.sh --broker-list 12.12.12.27:9092 --topic topic-test1 >xx [2022-01-05 13:21:28,723] WARN [Producer clientId=console-producer] Boot
开启了Kerberos的Kafka客户端配置
光于前裕于后的博客
05-25 1904
如果不做任何配置将会报错： WARN [Producer clientId=console-producer] Bootstrap broker xx:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient) 添加两个文件： # client.properties security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name=kafka # jaas
Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
liman1002的专栏
09-28 3万+
现象描述： 代码连接本地kafka没有问题 能监听到监听的topic，可获取通道中的所有topic 将kafka放到服务器上，本地程序启动报异常，可获取kafka中所有的topic，但是监听topic不起作用 启动时，报下面两个异常 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected Connection to node -1 (localhost/127.0.0.1:9092) could not be establi
Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
Java与大数据相关实践内容分享！
08-08 9918
Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
Spring Boot 集合 Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
dingxiaofeng66的博客
11-04 1874
查看了很多的资料，有的说Zookeeper的问题，或者是Kafka配置的问题，我都尝试看了好几遍。打开了防火墙 ，果然Spring Boot 和 Kafka 通畅了许多。最后发现竟然是 Linux 防火墙端口号没有打开的情况。
kafka报错：Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
y368769的博客
01-14 3万+
这是一个惨痛的教训 就在昨天我和我四个同事因为这个问题搞到了夜里十一点半，啊啊啊啊啊！！！太恶心了！！！ 在启动工程时，kafka报这个错误，在配置文件中配置kafka的依赖，和另一个服务器上配置的一模一样，但是在这个服务器上启动此工程就会出现这个问题???? 问题原因： kafka的版本有问题，在另一个服务器上使用的是2.1版本的kafka，但是在此台服务器上使用的是2.6版本的kafka，所以需要添加一项配置来解决： 解决方案; 在配置文件中添加kafka配置： spring.kafka.bootstr
[2025-07-05T04:30:15,757][WARN ][org.apache.kafka.clients.NetworkClient][main][fa428722cc76701b3cefced5c1861e4fe1a9c7ffab25d6b4442868ff649fd755] [Consumer clie ntId=logstash-0, groupId=logstash-cgroup] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
07-06
在 Kafka 消费者客户端启动时，如果出现 `Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected` 错误，并伴随 `Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker...
2025-06-16 21:35:44,028 (kafka-producer-network-thread | producer-1) [WARN - org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.handleServerDisconnect(NetworkClient.java:1079)] [Producer clientId=producer-1] Bootstrap broker node01:9092 (id: -1 rack: null) disconnected
06-17
Kafka生产者在运行时遇到`Bootstrap broker host:ip (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)`错误，通常表明生产者客户端无法成功与Kafka Broker建立连接[^1]。以下是可能的...
spark消费kafka(cdh启用kerberos)
zhaolq1024的博客
11-01 1662
不生产博客，只是别人博客的裁缝 一入kerberos深似海，从此节操是个玩意儿 之前写过一篇spark消费kafka问题记录(cdh5.16.2)，主要记录了安装spark2后，spark的问题，和本地可以执行，而一提集群缺包的问题，这篇主要记录下启用kerberos后的一些问题 版本信息如下 集群启用kerberos后，想用命令行测下kafka kafka-topics --cre...
kafka生产者发送消息报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected
chh0912的博客
10-13 3449
kafka报错
【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected
拾级而上
05-09 1万+
Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected解决思路
kafka报错：Bootstrap broker IP:9092 (id: -1 rack: null) disconnected
sinat_27400825的博客
07-22 1万+
kafka报错非常不人性化，这个错误有可能是用户名密码没有设置
Kafka Exception：Bootstrap broker disconnected & Consumer disconnected
m0_56356993的博客
08-19 3097
解决方案：删除容器重新部署
producer:WARN Bootstrap broker kafka2:9092 disconnected (org.apache.kafka.clients.NetworkClient)
wo1769815的专栏
04-24 1万+
详细报错信息如下： [root@kafka1 bin]# ./kafka-console-producer.sh -broker-list kafka1:9092,kafka2:9092,kafka3:9092 -topic test [2019-04-24 08:52:56,252] WARN Bootstrap broker kafka2:9092 disconnected (org.apa...
命令消费kafka报错(id: -1 rack: null) disconnected
weixin_43697701的博客
03-28 9623
WARN clients.NetworkClient: [Consumer clientId=consumer-console-consumer-52833-1, groupId=console-consumer-52833] Bootstrap broker xx.xx.xx.xx:9092 (id: -1 rack: null) disconnected
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
crazy_stone0002的博客
03-10 3464
1.当前环境使用的稳定版本组合 a.本套环境CDH经过四次升级，当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41 b.KAFKA版本为KAFKA-2.1.0-1.2.1.0.p0.115 c.SPA...
WARN org.apache.kafka.clients.NetworkClient - Bootstrap broker 127.0.0.1:9092 disconnected
热门推荐
厚礼谢特的博客
05-08 4万+
原因是producer client采用2.10.1.0版本，而kafka集群是2.10.0.0版本，不能兼容
【kafka生产者启动报错】
weixin_42532865的博客
07-02 3571
因为之前在配置文件中写死了ip地址，所以现在这边启动的时候不能再使用localhost作为ip地址了。将localhos调整为配置文件中的ip即可： 1. 生产者： 2. 消费者： 消息收发成功
kafka使用的一些坑
u010638913的博客
04-22 3万+
创建消费者报错 错误一：disconnected WARN [Consumer clientId=consumer-console-consumer-47753-1, groupId=console-consumer-47753] Bootstrap broker 127.0.0.1:2181 (id: -1 rack: null) disconnected (org.apache.kafka.c...
bootstrap-servers: kafka-broker1:21007,kafka-broker2:21007,kafka-broker3:21007，下一步。
最新发布
07-26
你已经将 `bootstrap-servers` 配置为使用主机名（`kafka-broker1`, `kafka-broker2`, `kafka-broker3`），这是使用 **Kerberos 安全认证** 的前提条件之一。接下来，你需要确保这些主机名能够在你的客户端环境中正确解析，并且 Kafka broker 配置了相应的 Kerberos principal 和监听地址。 --- ## ✅ 下一步：验证并配置 Kerberos 客户端环境 ### 1. 确保 DNS 或 `/etc/hosts` 解析正常 #### Linux / Mac： 编辑 `/etc/hosts` 文件： ```bash sudo vi /etc/hosts ``` 添加如下内容： ``` 25.45.48.105 kafka-broker1 25.45.48.191 kafka-broker2 25.45.49.19 kafka-broker3 ``` #### Windows： 编辑 `C:\Windows\System32\drivers\etc\hosts` 文件，添加同样的内容。 --- ### 2. 验证主机名是否能解析为 IP 地址 使用命令验证： ```bash ping kafka-broker1 ping kafka-broker2 ping kafka-broker3 ``` 如果能正常 ping 通，说明 DNS 或 hosts 配置成功。 --- ## ✅ 下一步：配置 Kerberos 客户端环境 你需要确保 Kerberos 客户端环境配置正确，以便 Kafka 客户端能够使用 keytab 文件进行认证。 ### 1. 安装 Kerberos 客户端 #### Linux（Ubuntu/Debian）： ```bash sudo apt-get install krb5-user ``` #### Linux（CentOS/RHEL）： ```bash sudo yum install krb5-workstation ``` #### Windows： 安装 [MIT Kerberos for Windows](https://web.mit.edu/kerberos/dist/) 或使用 Windows 自带的 Kerberos。 --- ### 2. 配置 `krb5.conf` 在 `/etc/krb5.conf`（Linux）或 `C:\ProgramData\MIT\Kerberos5\krb5.ini`（Windows）中配置： ```ini [libdefaults] default_realm = HADOOP.COM dns_lookup_realm = false dns_lookup_kdc = false ticket_lifetime = 24h renew_lifetime = 7d forwardable = true [realms] HADOOP.COM = { kdc = kdc.hadoop.com admin_server = kdc.hadoop.com } [domain_realm] .hadoop.com = HADOOP.COM hadoop.com = HADOOP.COM ``` --- ## ✅ 下一步：测试 Kerberos 认证是否成功 使用 `kinit` 命令测试 keytab 是否能正常获取票据： ```bash kinit -kt user.keytab sh_sjzt_dwzy@HADOOP.COM ``` 如果命令执行成功，说明 Kerberos 配置正常。 --- ## ✅ 下一步：确保 Kafka broker 的 principal 匹配主机名 Kafka broker 的 principal 应该是： ``` kafka/kafka-broker1@HADOOP.COM kafka/kafka-broker2@HADOOP.COM kafka/kafka-broker3@HADOOP.COM ``` 你可以使用以下命令查看是否存在这些 principal： ```bash ktutil list -k user.keytab ``` 或者使用 Kerberos KDC 管理工具查询。 --- ## ✅ 下一步：Java 客户端配置 Kerberos 确保你的 Java 应用程序能够找到 Kerberos 配置文件和 keytab 文件。 ### 1. 设置 JVM 参数（启动时） ```bash -Djava.security.krb5.conf=/etc/krb5.conf -Dsun.security.krb5.debug=true ``` ### 2. Kafka 消费者配置（Spring Boot） ```java props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.kerberos.service.name", "kafka"); props.put("sasl.jaas.config", "com.sun.security.auth.module.Krb5LoginModule required " + "useKeyTab=true " + "storeKey=true " + "keyTab=\"/path/to/user.keytab\" " + "principal=\"sh_sjzt_dwzy@HADOOP.COM\";"); ``` --- ## ✅ 下一步：运行 Kafka 消费者测试连接 你可以运行以下代码测试 Kafka 消费者是否能够成功连接并消费消息： ```java import org.apache.kafka.clients.consumer.*; import org.apache.kafka.common.serialization.StringDeserializer; import java.time.Duration; import java.util.Collections; import java.util.Properties; public class KafkaConsumerTest { public static void main(String[] args) { Properties props = new Properties(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-broker1:21007,kafka-broker2:21007,kafka-broker3:21007"); props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName()); props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); props.put("security.protocol", "SASL_PLAINTEXT"); props.put("sasl.kerberos.service.name", "kafka"); props.put("sasl.jaas.config", "com.sun.security.auth.module.Krb5LoginModule required " + "useKeyTab=true " + "storeKey=true " + "keyTab=\"/path/to/user.keytab\" " + "principal=\"sh_sjzt_dwzy@HADOOP.COM\";"); Consumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList("xx")); try { while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { System.out.printf("Received: %s (Topic: %s, Partition: %d, Offset: %d)%n", record.value(), record.topic(), record.partition(), record.offset()); } } } finally { consumer.close(); } } } ``` --- ## ✅ 下一步：排查常见错误 ### 常见错误及解决方案： | 错误信息 | 原因 | 解决方案 | |----------|------|-----------| | `Server not found in Kerberos database` | principal 不匹配 | 检查 Kafka broker 的 principal 是否为主机名 | | `Clock skew too great` | 时间不同步 | 使用 `ntpdate` 或 `chronyd` 同步时间 | | `Cannot find key of appropriate type` | keytab 文件不匹配 | 检查 keytab 文件是否包含正确的 principal | | `Connection refused` | Kafka broker 未启动或端口未开放 | 检查 Kafka broker 是否运行，防火墙是否开放 21007 端口 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值