Hadoop异常：File /xxx/xxx/xx could only be replicated to 0 nodes, instead of 1

iteye_21045

于 2011-11-23 18:37:32 发布

阅读量240

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/iteye_21045/article/details/82208763

hadoop 专栏收录该内容

3 篇文章

订阅专栏

在HDFS环境中，遇到Node内存配置过低导致无法正常进行文件复制的情况。通过将某DataNode的JVM内存从2GB扩展至6GB，解决了File/xxx/xxx/xx无法被正确复制到指定数量节点的异常问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试的时候，出现该异常信息 File /xxx/xxx/xx could only be replicated to 0 nodes, instead of 1

最终确定是ReplicationTargetChooser类的isGoodTarget出来的问题：

if (considerLoad) {
      double avgLoad = 0;
      int size = clusterMap.getNumOfLeaves();
      if (size != 0) {
        avgLoad = (double)fs.getTotalLoad()/size;
      }
      if (node.getXceiverCount() > (2.0 * avgLoad)) {
        logr.warn("Node "+NodeBase.getPath(node)+
                  " is not chosen because the node is too busy");
        return false;
      }
    }

该处会计算该Node的连接数是否大于平均值的2倍，否则返回false.

然后跟踪，发现其中1个Datanode的JVM内存只开了2GB, 扩大到跟其他DN一样的6GB,问题解除。