17、高阶组件（HOC）嵌入式调度与循环并行化技术解析

高阶组件（HOC）嵌入式调度与循环并行化技术解析

在当今的分布式计算领域，高阶组件（HOC）的调度与循环并行化是提升计算效率的关键技术。本文将深入探讨HOC的调度策略、相关实验结果，以及结合循环并行化工具LooPo的创新应用。

1. HOC调度基础

在分布式计算中，HOC应用的调度需要考虑分布式单元之间的通信时间以及因网络负载产生的通信惩罚。由于HOC应用带宽使用的变化具有重复性，预测部分可通过观察到的变化的平均值来计算。

实验表明，总体而言，带宽感知函数是最通用的成本函数。对于不同类型的HOC，适用的成本函数也有所不同：
- Farm - HOC：应用拓扑感知函数最为合适。
- Pipeline - HOC：延迟感知函数效果最佳。
- Wavefront - HOC：带宽感知和预测网络方差成本函数能实现最有效的调度。

2. 大规模应用调度

对于使用多个HOC的大规模应用，需要将每个HOC的通信成本相加，以获得适用于所有HOC组合的调度准则。KOALA在调度此类应用时采用了这种技术。

为避免重复计算相同的调度，MDRunner支持重用已处理的HOC组合的调度。这是因为许多不同的应用可以使用相同的组件组合和主机配置，使用相同HOC的不同应用可以采用相同的映射进行调度。

3. uSLAs对HOC执行的影响

在大规模HOC应用中，uSLAs（用户服务级别协议）可用于表达资源共享规则。一旦消费者通过访问策略被允许访问资源，uSLA将控制资源的使用量。

一些资源访问限制由操作系统程序控制，而不是调度器。标准的KOALA调度器通过试错方