Hadoop异常：File /xxx/xxx/xx could only be replicated to 0 nodes, instead of 1

最新推荐文章于 2025-11-26 23:29:25 发布

原创最新推荐文章于 2025-11-26 23:29:25 发布 · 275 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

hadoop 专栏收录该内容

3 篇文章

订阅专栏

在HDFS环境中，遇到Node内存配置过低导致无法正常进行文件复制的情况。通过将某DataNode的JVM内存从2GB扩展至6GB，解决了File/xxx/xxx/xx无法被正确复制到指定数量节点的异常问题。

测试的时候，出现该异常信息 File /xxx/xxx/xx could only be replicated to 0 nodes, instead of 1

最终确定是ReplicationTargetChooser类的isGoodTarget出来的问题：

if (considerLoad) {
      double avgLoad = 0;
      int size = clusterMap.getNumOfLeaves();
      if (size != 0) {
        avgLoad = (double)fs.getTotalLoad()/size;
      }
      if (node.getXceiverCount() > (2.0 * avgLoad)) {
        logr.warn("Node "+NodeBase.getPath(node)+
                  " is not chosen because the node is too busy");
        return false;
      }
    }

该处会计算该Node的连接数是否大于平均值的2倍，否则返回false.

然后跟踪，发现其中1个Datanode的JVM内存只开了2GB, 扩大到跟其他DN一样的6GB,问题解除。