8、云平台大数据处理资源调度与高性能云实现

云平台大数据处理资源调度与高性能云实现

云平台大数据处理资源调度

在云平台进行大数据处理时，资源调度是一个关键问题。为了实现高效的资源分配，需要考虑多种因素，如不同工作负载的资源需求、成本最小化等。

阈值确定步骤

在资源调度过程中，需要确定下一长周期的阈值。具体方法是在每个启发式算法中采用不同的阈值，以找到过去时间段的离线分配结果。通过公式（11）判断最优阈值，该最优阈值经过PID控制器，生成可用于下一长周期的阈值。

性能评估

为了评估资源调度方法的性能，进行了模拟实验。
- 模拟设置
- 工作负载生成 ：聚焦于四种典型的视频监控范式，包括视频流与监控、人脸检测、视频编码/转码和视频存储。通过在AMAZON云EC2上运行应用程序，分析其运行时统计数据，以了解视频监控工作负载的特征。
- 虚拟机配置 ：租用了一台M1 Small VM，其配置为1个Intel(R) Xeon(R) E5430 @2.66GHz CPU单元、1个CPU核心、1.7GiB内存、1Gbps带宽和30G硬盘，操作系统为Microsoft Server 2008 Base 64 - bit。使用Windows性能监视器记录CPU、内存、存储和网络带宽的资源利用率。
- 视频数据 ：从PETS下载视频，每个视频包含1000 - 5000帧，拍摄时间为1000 - 5000个时间点，每帧为720×576的JPEG照片。使用开源软件进行人脸检测和视频编码。
- 工作负