2、地理分布式数据上运行Hadoop作业的调度策略

地理分布式数据上运行Hadoop作业的调度策略

一、引言

物联网场景通常会产生大量的数据，如何高效地管理这些数据，通过分析、处理和提取有用信息，成为了一项具有挑战性的任务。基于MapReduce范式的分布式计算框架，如Hadoop，利用多个集群节点的计算能力来处理这些数据。然而，Hadoop主要设计用于在由高速链路互连的同构节点集群上工作。在许多实际的大数据应用中，待处理的数据分布在全球多个计算异构的数据中心，Hadoop在这种情况下的性能表现较差。

为了解决这个问题，设计了一种上下文感知的Hadoop框架，它能够在地理上分散的集群之间调度和分配任务，以最小化作业的整体执行时间。该调度器利用整数分区技术和对大数据应用模式的先验知识，探索所有可能的任务调度空间，并估计出预期性能最佳的调度方案。

二、分层Hadoop方法的设计

1. MapReduce作业基础
   • 在MapReduce范式中，一个通用的计算被称为作业。作业提交后，调度系统负责将作业拆分为多个任务，并将这些任务映射到集群中的可用节点上。作业执行的性能通过其完成时间（也称为makespan）来衡量，该时间除了取决于要处理的数据大小外，还严重依赖于调度系统确定的作业执行流程以及任务实际执行所在集群节点的计算能力。
2. 地理分布式场景下的挑战
   • 通信链路 ：集群之间的通信链路（集群间链路）通常异构且容量远低于集群内节点之间的通信链路（集群内链路）。