3、网格计算中数据密集型任务的资源管理

网格计算中数据密集型任务的资源管理

1. 引言

互联网的普及，以及强大计算机和高速网络技术作为低成本商品组件的广泛应用，正在改变计算的方式。利用广泛分布的计算机来解决大规模问题变得更加可行，这些问题通常无法仅依靠现有的单一强大超级计算机有效处理。从计算和数据需求来看，由于其规模和复杂性，这些问题往往是资源密集型的，可能还涉及使用各种通常不在同一地点的异构资源，这导致了网格计算的出现。

网格计算允许跨不同管理和地理边界共享异构分布式资源。通过共享这些分布式资源，可以以经济高效的方式执行许多复杂的分布式任务。资源分配给任务的方式对于实现令人满意的系统性能至关重要。为了高效执行，资源分配算法必须考虑许多因素，如系统和工作负载条件、要执行的任务类型以及最终用户的需求。

为了设计更高效的分配算法，可以根据任务预测的资源需求或工作流的相似性，将给定任务分类为预定义类型。这种任务分类为根据特定的相似任务组定制分配算法提供了可能性。本文介绍了一种为可处理批量数据传输（PBDT）任务开发的有效资源管理中间件。PBDT任务的共同特点是传输大量数据，这些数据在从源节点传输到指定的一组宿节点之前必须以某种方式进行处理。通常，这些任务可以分解为并行子任务，称为作业。各种多媒体和高能物理（HEP）应用可以归类为PBDT任务。这些任务中涉及的处理操作可能像在多媒体应用中对原始视频文件应用压缩算法一样简单，也可能像在高能物理实验中分离特定波长的粒子信息一样复杂。执行PBDT任务需要计算能力和大数据传输带宽。

为了执行此类资源密集型任务，近年来，人们进行了有效资源管理中间件的研究，从而产生了各种高效技术。为了提供令人满意的性能，这些系统必须优化资源密集型任务的整体执行时间（或完工时间）。这需要