12、基于学习的HTC数据中心作业等待时间估计

基于学习的HTC数据中心作业等待时间估计

在HTC（High Throughput Computing，高吞吐量计算）数据中心中，准确估计作业等待时间对于用户和系统管理员都至关重要。本文将深入探讨影响作业等待时间的因素，通过相关性分析确定关键特征，并介绍基于机器学习的作业等待时间估计方法。

1. 影响作业等待时间的因素

作业等待时间受到多种因素的影响，下面将详细介绍这些因素。
- 提交时间段 ：作业提交的时间段对等待时间有显著影响。周末的提交量明显少于工作日，且昼夜差异较小。在工作日，工作时间的提交量远高于夜间。此外，还存在一个“周晚间”时段，其提交率介于工作时间和夜间之间。由于并发作业提交会导致资源竞争加剧，因此工作日提交的作业可能比午夜前后或周日上午提交的作业等待时间更长。
- 队列中待处理作业的数量 ：队列中已等待的作业数量也会影响作业等待时间。当长队列中出现提交高峰时，作业等待时间会急剧增加，许多作业可能等待超过十二小时。当其他队列出现提交高峰时，也会导致等待一到十二小时的作业数量增加。这是因为高优先级队列的提交高峰会导致低优先级长队列中的作业延迟。
- 份额消耗 ：份额是UGE调度算法的核心概念。它允许批处理系统为需求较大的用户组提交的作业赋予更高的优先级。用户组的规模和需求差异很大，分配的份额值范围广泛。小份额用户组提交的作业可能比大份额用户组提交的类似作业等待时间更长。此外，调度算法还会考虑用户组在滑动时间窗口内的近期资源消耗情况。
- 资源使用配额 ：批处理系统管理员设置的不同配额（RQS）也会