3、地理分布式数据上运行Hadoop作业的调度策略及物联网PaaS平台方案

地理分布式数据上运行Hadoop作业的调度策略及物联网PaaS平台方案

1. Hadoop作业执行路径生成

在地理分布式数据上运行Hadoop作业时，调度系统为特定顶级作业确定最佳执行路径的策略是生成所有潜在执行路径，并找出执行时间最短的路径。调度算法需要输入几个参数，包括网络拓扑、持有待处理数据的站点列表，以及与MapReduce应用相关的参数（βapp和吞吐量）。

通过组合操作来探索所有潜在执行路径。具体步骤如下：
1. 计算节点组合 ：算法分析所有计算节点（站点），以找到最佳的映射器节点组合。从所有可用站点集合中选择映射器节点，计算k - 组合，其中k的范围是从1到可用站点的数量，K为映射器的数量。k - 组合的总数计算公式为：
[
\sum_{k = 1}^{n} C_{n,k} = \sum_{k = 1}^{n} \frac{n!}{k!(n - k)!}
]
2. 数据块分配 ：对于每个k - 组合，算法计算所需的数据传输，即把数据块从持有它们的站点移动到映射器节点。假设要处理的整体数据必须划分为大小相等的数据块，持有数据的站点会持有一个或多个数据块，这些数据块需要重新分配给映射器节点。为了表示数据块到映射器的所有可能分配，使用整数分区技术。用P(n, m)表示整数n按顺序m的分区数，一个数n在所有顺序m = 1, 2, …, n的分区总数为：
[
P(n) = \sum_{m = 1}^{n} P(n, m)
]
3. 数据块分布 ：数据块配置只是告诉我们“分组”数据块进行分发的方式