kafka往hdfs上传文件运行出现的错误及解决

最新推荐文章于 2023-12-24 13:19:48 发布

原创

最新推荐文章于 2023-12-24 13:19:48 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了在从Kafka迁移数据到HDFS过程中遇到的问题及其解决办法，包括脚本权限不足、Zookeeper服务器状态检查、消费者监听话题配置错误以及前端显示问题。解决方法涉及修改脚本权限、确保Zookeeper正常运行、配置环境变量以写入HDFS，以及为前端添加缺失的样式表文件引用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、启动脚本权限不够问题：
解决方法：添加权限：chmod +x 脚本

2、

 Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)

解决方法：查看zkServer是否成功启动

3、

 Missing required configuration "key.deserializer" which has no default value.

解决方法：


消费者：
        properties.put("bootstrap.servers", "hdp-3:9092");
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("group.id", "yangk");
生产者：
         properties.put("bootstrap.servers","hdp-2:9092");
         properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

4、