15、预测网格环境性能：提升调度效率的初步探索

预测网格环境性能：提升调度效率的初步探索

1. 引言

在过去几十年里，技术突破让世界发生了巨大变化，我们如今生活在一个渴求信息的全球化世界中，且不愿等待信息被发现、捕获和处理。尽管知识提取算法和工具在不断发展，但处理相关数据通常需要昂贵的计算能力。

近年来，并行架构和分布式应用的新趋势出现，在网络硬件、协议以及入门级设备的发展上取得了显著进步。像Beowulf这样的努力，使商用硬件成为高性能计算的可行选择，让多个工作站能组成集群，用于计算密集型应用。然而，这种方式仍限制了最大处理能力，因为所有节点需由单一组织在单一同质数据中心持有。

学术界在癌症研究或天气分析等领域的工作，催生了处理能力需求极高的应用，单台计算机无法满足这些需求。为应对这些需求，大学和研究机构开始在区域、国家乃至全球范围内共享资源，从而产生了网格（GRID）这一新范式。

网格环境是一个跨组织的共享计算资源网络，可能由异构的硬件和软件组成。网格资源地理分布广泛，且可能在网格范围外使用。在协调方面，网格采用分布式管理，而非传统的主从设计，因为主从设计的可扩展性和可靠性最终受主节点限制。

网格任务调度比传统集群更复杂，因为资源集及其可用性会随时间变化，资源与应用间的通信网络也多种多样。目前的调度软件通常基于网格当前状态和任务列表进行决策，未从过去的决策中学习。通过收集和分析网格环境的性能数据，有望制定更可靠的调度策略，提高资源利用率。数据挖掘技术可用于分析历史数据，预测网格资源状态。本文旨在展示如何利用数据挖掘技术提取网格环境中资源负载的有价值信息，以及人类和自动调度器如何从中受益，以提高调度效率和缩短执行时间。

2. 在网格上执行任务