Kafka开发中的错误

最新推荐文章于 2024-07-30 19:48:34 发布

蓝色的城墙

最新推荐文章于 2024-07-30 19:48:34 发布

阅读量2.4k

点赞数

分类专栏：大数据 Kafka 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/weixin_42340596/article/details/108144765

版权

大数据同时被 2 个专栏收录

6 篇文章

订阅专栏

Kafka

1 篇文章

订阅专栏

博客内容涉及Kafka在开发中遇到的错误，包括消费者无法连接到节点的警告。错误可能源于Kafka服务未启动或者配置问题。在Linux端，已排除hosts文件问题，重点检查Kafka服务和客户端配置。而在Windows端，错误可能与IDEA中的配置及Maven Libraries中的冲突有关，特别是POM文件和外部项目jar包的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1：kafka报错内容：

WARN clients.NetworkClient: [Consumer clientId=consumer-1, groupId=console-consumer-26747] Connection to node -1 (bigdatacdh1/192.168.1.101:9092) could not be established. Broker may not be available.

kafka 的服务可能没有开启，从而导致Broker may not be available。

2：idea报错内容(kafka)：

WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be established. Broker may not be available.

分析：这个错误发生的本质是连接不能成功被建立。

首先考虑的应该考虑的是win端出现错误还是Linux端出现错误

Linux端：

1.hosts文件。
（基本可以排除，在搭建环境之前就已经做好映射了）

2.Kafka server和Kafka Client配置文件。
（CDH6.3.0 kafka服务端配置文件路径 /opt/cloudera/parcels/CDH/etc/kafka/conf.dist/ )

win端：

1.hosts文件。

2.IDEA中程序中的错误：

	a.kafka的properties是否出现错误，程序之间的跳转是否能够成功。

	b.hostname和端口号的映射。

	c.Moudle之间的pom文件是否关联正确。

我的错误原因：由于POM文件是从其他项目中复制过来后修改的（开发环境不同），虽然kafka下的configutil中，private static final String DEFAULT_KAFKA_CONFIG_PATH = “kafka/kafka-server-config.properties”; 可以成功跳转到配置路径下，但是通过CTRL+LEFT点击common下的configutil跳转的properties文件时，发现其指向到了另一个项目中的properties文件，检查POM文件，没有错误，通过查看properties的位置，定位错误到Maven Libraries。里面包含了另一个项目的jar包，影响了路径的指向。

===》 File ===》 Project Structure ===》 Libraries ===》【-】 ===》选择不想要的Maven Libraries ===》 apply ===》 ok

删除不想要的Maven Libraries