8、云平台大数据处理资源调度与高性能云技术探索

云平台大数据处理资源调度与高性能云技术探索

云平台大数据处理资源调度

在云平台进行大数据处理时，资源调度是一个关键问题。为了更好地处理大数据，需要一种有效的资源调度方法，以满足服务质量（QoS）要求并最小化总成本。

阈值确定步骤

在资源调度过程中，需要确定下一个长周期的阈值。具体方法是在每个启发式算法中采用不同的阈值，以找到过去一段时间的离线分配结果。通过特定公式（文中未详细给出）判断出最优阈值，该最优阈值经过PID控制器处理，生成可用于下一个长周期的阈值。

性能评估模拟设置

为了评估资源调度方法的性能，进行了模拟实验。模拟中生成大数据工作负载时，聚焦于四种典型的视频监控范式：视频流与监控、人脸检测、视频编码/转码和视频存储。
- 硬件配置 ：租用了一台M1小型虚拟机，其配置为1个英特尔至强E5430 @2.66GHz CPU单元、1个CPU核心、1.7GB内存、1Gbps带宽和30G硬盘，运行64位的Microsoft Server 2008基础版操作系统。
- 数据收集 ：使用Windows性能监视器记录CPU、内存、存储和网络带宽的资源利用率。从PETS下载视频，每个视频包含1000 - 5000帧，拍摄时间点为1000 - 5000个，每帧是720×576的JPEG照片。使用开源软件进行人脸检测和视频编码。

不同工作负载的资源利用率情况如下表所示：
| 工作负载 | CPU/Memory | CPU/Disk I/O | CPU/Net |
| — | — | — | — |
|