kafka往hdfs上传文件运行出现的错误及解决

最新推荐文章于 2023-12-24 13:19:48 发布

原创最新推荐文章于 2023-12-24 13:19:48 发布 · 1.9k 阅读

CC 4.0 BY-SA版权

本文介绍了在从Kafka迁移数据到HDFS过程中遇到的问题及其解决办法，包括脚本权限不足、Zookeeper服务器状态检查、消费者监听话题配置错误以及前端显示问题。解决方法涉及修改脚本权限、确保Zookeeper正常运行、配置环境变量以写入HDFS，以及为前端添加缺失的样式表文件引用。

1、启动脚本权限不够问题：
解决方法：添加权限：chmod +x 脚本

2、

 Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)

解决方法：查看zkServer是否成功启动

3、

 Missing required configuration "key.deserializer" which has no default value.

解决方法：


消费者：
        properties.put("bootstrap.servers", "hdp-3:9092");
        properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        properties.put("group.id", "yangk");
生产者：
         properties.put("bootstrap.servers","hdp-2:9092");
         properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

4、

java.lang.IllegalStateException: topics, topicPattern, or topicPartitions must be provided     process

解决方法：检查consumer中@KafkaListener(topics = “test”)

5、往hdfs中写文件

java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

解决方法：在环境变量中配置hadoop到path中，在path中：%HADOOP_HOME%/bin，新建%HADOOP_HOME%：hadoop的路径，关闭ider重新开启

6、前端表头重叠问题

checksum erro
Bootstrap glyphicons-halflings-regular.woff2 Not found
 <link rel="stylesheet" href="http://cdn.static.runoob.com/libs/bootstrap/3.3.7/css/bootstrap.min.css">

解决方法：经过检查发现是因为我忘记引用bootstrap-table.css样式表文件的原因，添加对bootstrap-table.css或者bootstrap-table.min.css的引用即可。