Giraph中的分区数目计算

最新推荐文章于 2020-09-07 18:32:50 发布

原创最新推荐文章于 2020-09-07 18:32:50 发布 · 328 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍Giraph中PartitionUtils类的computePartitionCount函数如何根据用户设置或默认配置来确定分区数量。该函数首先检查用户是否设置了分区数量，如果没有，则使用一个乘数与可用工作节点数量的平方计算分区数；如果用户已设置，则直接采用用户设定值。

在PartitionUtils类的computePartitionCount函数中：

    if (userPartitionCount == USER_PARTITION_COUNT.getDefaultValue()) {
      float multiplier = GiraphConstants.PARTITION_COUNT_MULTIPLIER.get(conf);
      partitionCount =
          Math.max((int) (multiplier * availableWorkerInfos.size() *
              availableWorkerInfos.size()),
//        		1),
              1);
    } else {
      partitionCount = userPartitionCount;
    }