HDFS追加数据报错解决办法

最新推荐文章于 2025-02-20 14:33:30 发布

原创

最新推荐文章于 2025-02-20 14:33:30 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节

本文介绍了在HDFS中遇到的两个主要错误。第一个错误是由于datanode数量不足导致的写入失败，解决方案是确保所有datanode机器都处于活动状态。第二个错误可能与节点响应有关，可能由于只开启了一台机器导致。解决方法包括理解dfs.client.block.write.replace-datanode-on-failure.policy配置，并在必要时修改hdfs-site.xml文件。

主要的两个错误，今天晚上一直轮着报：

第一个

2022-10-25 21:37:11,901 WARN hdfs.DataStreamer: DataStreamer Exception
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.88.151:9866,DS-4b3969ed-e679-4990-8d2e-374f24c1955d,DISK]], original=[DatanodeInfoWithStorage[192.168.88.151:9866,DS-4b3969ed-e679-4990-8d2e-374f24c1955d,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
        at org.apache.hadoop.hdfs.DataStreamer.findNewDatanode(DataStreamer.java:1304)
        at org.apache.hadoop.hdfs.DataStreamer.addDatanode2ExistingPipeline(DataStreamer.java:1372)
        at org.apache.hadoop.hdfs.DataStreamer.handleDatanodeReplacement(DataStreamer.java:1598)
        at org.apache.hadoop.hdfs.DataStreamer.setupPipelineInternal(Da