HDFS追加数据报错解决办法

最新推荐文章于 2025-02-20 14:33:30 发布

「已注销」

最新推荐文章于 2025-02-20 14:33:30 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

文章标签： 1024程序员节

本文链接：https://blog.youkuaiyun.com/weixin_47367099/article/details/127524320

本文介绍了在HDFS中遇到的两个主要错误。第一个错误是由于datanode数量不足导致的写入失败，解决方案是确保所有datanode机器都处于活动状态。第二个错误可能与节点响应有关，可能由于只开启了一台机器导致。解决方法包括理解dfs.client.block.write.replace-datanode-on-failure.policy配置，并在必要时修改hdfs-site.xml文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要的两个错误，今天晚上一直轮着报：

第一个

2022-10-25 21:37:11,901 WARN hdfs.DataStreamer: DataStreamer Exception
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.88.151:9866,DS-4b3969ed-e679-4990-8d2e-374f24c1955d,DISK]], original=[DatanodeInfoWithStorage[192.168.88.151:9866,DS-4b3969ed-e679-4990-8d2e-374f24c1955d,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
        at org.apache.hadoop.hdfs.DataStreamer.findNewDatanode(DataStreamer.java:1304)
        at org.apache.hadoop.hdfs.DataStreamer.addDatanode2ExistingPipeline(DataStreamer.java:1372)
        at org.apache.hadoop.hdfs.DataStreamer.handleDatanodeReplacement(DataStreamer.java:1598)
        at org.apache.hadoop.hdfs.DataSt