21、只读大型数据集负载均衡与MPI通信自动优化

只读大型数据集负载均衡与MPI通信自动优化

一、只读大型数据集负载均衡

在处理只读大型数据集时，负载均衡是一个关键问题，它涉及多个步骤和实验验证。

1. 负载评估

   • 首先要确定自上次负载均衡后查询集是否发生变化。具体做法是检查当前查询集，并将其与上次查询集进行比较。
   • 若发现差异，需通过使用预定成本函数的积分，为当前查询集找到更好的分区，以利于后续的盈利性判定。

2. 盈利性判定

   • 当查询域扩展时，无论是否盈利，都必须将新数据项纳入计算，以维持系统功能。
   • 若查询域未扩展，比较先前分区与变更负载的新估计分区，得出数据点上的差异集。不进行重新平衡的成本可通过在先前分区指示的区间上对当前查询集的成本函数进行积分来计算。
   • 为确定重新平衡负载是否盈利，在模型中考虑网络传输速率T。当数据传输损失的时间小于重新平衡所节省的估计时间时，重新平衡才是盈利的。

3. 工作转移计算

   • 大部分工作在负载评估阶段已完成，剩余工作如下：
     • 审查负载评估结果，确定是否有机器因查询集变化而失去全部工作负载。
     • 若存在此类机器，应分配导致其邻居最大不平衡的域段。若有新查询到达，需优先处理。
     • 若发生机器的