10、IBB：用于HTCondor的改进型K资源感知回填平衡调度算法

IBB：用于HTCondor的改进型K资源感知回填平衡调度算法

1. 引言

HTCondor是一个高吞吐量的分布式系统，它通过灵活的ClassAd机制能实现较高的作业吞吐量和可靠的系统性能。不过，其专用调度器采用先来先服务（FCFS）策略，当当前作业过大时，容易导致大量资源碎片化。虽然它提供了“最佳匹配”方法来跳过当前阻塞的作业，但当后续作业较小时，阻塞作业可能会出现饥饿问题。

回填技术是解决上述问题的有效方法，常见的回填方法有保守回填和EASY回填。William Leinberger等人提出的K资源感知调度算法Backfill Balanced（BB），能利用额外的资源信息更智能地选择回填作业，比典型的回填方法性能更优。然而，BB算法没有考虑到大型作业和小型作业对系统资源利用率和全局系统资源状态图的影响差异，且每次遍历作业队列时只能选择一个作业进行回填。

本文提出了基于BB算法的改进型回填平衡（IBB）算法。IBB算法能利用额外的资源信息和小型作业的特性，更智能地选择回填作业。我们将IBB算法应用于HTCondor，进一步提高了其作业吞吐量。

2. 相关工作

HTCondor的系统资源利用率和作业吞吐量不太理想，如何有效利用并行作业调度中的资源碎片化是其面临的难题之一。

回填技术在并行作业调度中广为人知，可提高系统资源利用率和作业吞吐量。保守回填只要不延迟队列中所有前置作业的开始时间，就可以从队列尾部选择一个小作业进行回填；EASY回填则更激进，只要不延迟队列中第一个作业的开始时间，就选择一个作业进行回填。显然，保守回填不如EASY回填灵活，因为它受到所有前置队列作业不能延迟执行的限制。

近年