18、基于流计算的任务分配预测方法

基于流计算的任务分配预测方法

1. 引言

在高性能计算（HPC）领域，数据流式传输的重要性日益增加，它可通过流水线处理实现，因此流水线处理的任务分配至关重要。动态任务分配在细粒度处理环境中不太适用，因为运行时开销会影响原始处理；静态任务分配运行时开销低，但任务可移植性较差。

为提高静态任务分配方法的适应性，我们提出了基于流计算的任务分配预测方法。该算法通过吞吐量预测来确定最优分配。随着处理器数量和并行对象数量的增加，可能的任务分配模式会急剧增多，难以确定最合适的分配模式。为此，我们引入遗传算法（GA）来高效地在生成的模式中确定最优分配模式的近似解，大大减少了任务分配的计算量，证明了该方法的有效性。

2. 基于流的计算模型

基于流的计算模型易于分析任务，适用于数据流式传输、流水线处理等。在该模型中，任务由演员（actor）和流（stream）组成的循环流水线进程表示，其执行周期可通过对演员处理成本和流通信成本的静态分析来计算。

2.1 模型定义

基于流的计算模型是一种扩展的宏数据流模型，具有以下特点：
- 允许在一个流上同时存在多个令牌作为通信通道，并保证每个令牌的到达顺序。
- 由表示基本过程的演员和表示通信通道的流组成。演员有输入和输出两种端口，流连接这些端口。任务由一个或多个基本演员组成，可在不修改算法的情况下轻松重新配置以适应任意数量的处理器。

2.2 演员

演员是重复特定过程的执行单元，由一个初始化部分和一个循环部分组成。其度量模型表示为 <In, Out, Behav, Cp> ，其中