kafka报错

小小鱼爱疯狂

已于 2024-06-26 15:18:18 修改

阅读量2.5k

点赞数

文章标签： kafka 分布式

于 2023-10-31 21:14:55 首次发布

本文链接：https://blog.youkuaiyun.com/TB_CYX/article/details/134148800

版权

本文讲述了在部署和使用Kafka时遇到的两种常见错误，包括TheClusterIDdoesn’tmatchstoredclusterId错误和InvalidReplicationFactorException，重点强调了advertised.listeners配置在集群连接和安全控制中的重要性。还介绍了如何创建和测试topic，以及在分布式环境下的部署步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka报错

报错信息一：

启动Kafka出现The Cluster ID doesn’t match stored clusterId错误
在这里插入图片描述
需要删除在kafka路径下面的logs里面的meta.properties，这是因为 cluster.id 不匹配

报错信息二：

ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 1.
(kafka.admin.TopicCommand$)
在这里插入图片描述
出现这个错误可以去查看kafka下面的 advertised 后面的ip是否匹配
还有 zookeeper后是否加后缀在这里面zookeeper后面加了/kafka 因此在创建topic的时候要将这段加进去

在这里插入图片描述
加入之后就可以创建啦

解释：
advertised.listeners 的作用是告知 Kafka 服务器在与客户端通信时应使用的网络地址，这对于 Kafka 集群的部署和连接十分重要。

具体来说，advertised.listeners 配置项指定了 Kafka 服务器向外部公开的监听地址，使得外部客户端可以通过该地址连接 Kafka 集群并进行消息传递。如果没有正确设置 advertised.listeners，则可能会导致外部客户端无法连接 Kafka 集群，从而无法进行数据的传递和处理。

例如，在一个分布式系统中，可能会存在多个 Kafka 集群，其位于不同的网络环境中。此时，可以使用 advertised.listeners 来告知客户端应该连接哪一个 Kafka 集群，并在集群之间进行数据交换。

此外，advertised.listeners 还可以用于实现安全访问控制，例如使用 SSL 或 SASL 进行加密和认证，以保护 Kafka 集群的数据安全。

因此，正确配置 advertised.listeners 是 Kafka 部署和使用的重要组成部分，可以确保 Kafka 集群能够可靠地与外部客户端进行通信，并保障数据传输的安全性。

测试

*在完全分布式下启动kafka需要先启动zookeeper在启动三个集群，在依次启动三个kafka

kafka-server-start.sh config/server.properties

创建一个topic

[root@master ~]# kafka-topics.sh --create --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic hello --partitions 1 --replication-factor 2

查看创建的topic


[root@master ~]# kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181
hello

在master上创建一个生产者

[root@master ~]# kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic hello
>hello kafka
>

在slave1上创建消费者

[root@slave1 ~]# kafka-console-consumer.sh --topic hello --from-beginning --bootstrap-server master:9092,slave2:9092,slave1:9092

hello kafka