7、云平台大数据处理的资源调度策略

云平台大数据处理的资源调度策略

1. 背景与问题提出

大数据处理任务具有数据密集和处理活动间存在数据或控制依赖的特点，任务间数据传输量大，导致数据处理/传输时间和存储成本较高。因此，需要有效的资源调度策略来管理运营成本，同时提高实时大数据分析服务的周转时间。

现有的云系统资源管理解决方案大多关注计算资源使用效率，很少考虑虚拟机（VM）的多资源维度（如CPU、内存、磁盘I/O和网络带宽）以及整体资源利用率，也较少基于服务水平协议（SLA）的完成时间进行VM分配，且很少区分任务的重要性和优先级。

为解决这些问题，我们开发了一种经济高效且动态的VM分配模型来处理大数据任务，并证明云资源的整体利用率直接影响长期服务成本。

2. 问题建模

将基于云的大数据任务资源管理视为等长时隙的任务分配问题，时隙索引为t = 0, 1, …，时隙的实际持续时间与具体应用相关。该系统资源管理面临以下挑战：
- 常规分配 ：用A(t)表示每个时隙结束时的任务分配结果。每个任务有其资源和时间的QoS要求，通过将任务分配到具有足够CPU、内存、磁盘I/O和带宽容量的VM来满足资源需求，且VM必须在任务分配截止日期前分配。
- 紧急任务到达 ：紧急任务到达时，立即做出分配决策。为每个紧急任务创建具有足够资源的VM，分配时仅考虑长期成本降低。
- 循环反馈控制 ：在在线分配过程中使用阈值变量，定义等长的长时隙T = 0, 1, …，在每个长时隙结束时使用比例 - 积分 - 微分控制器（PID控制器）调整阈值。
-