78、分布式流处理中基于算子影响域动态感知的弹性资源分配

分布式流处理中基于算子影响域动态感知的弹性资源分配

1. 引言

分布式流处理系统（DSPSs）能够快速分析和挖掘数据的实时价值，是处理连续海量数据的有力手段。在DSPSs中，资源分配决定了数据流处理应用（DSPAs）的算子并行度，这是确保DSPAs服务质量（QoS）的关键。由于数据流具有动态波动和突变的特点，弹性资源分配已成为主流方法。

目前，许多研究人员提出了弹性资源分配方法，但这些方法存在一定局限性。部分方法仅关注单个算子进行弹性伸缩，未考虑算子间的相关性；还有些方法虽利用了算子间的相关性，但忽略了其动态特性，导致资源分配滞后和不准确，增加了处理延迟。

为解决这些问题，提出了一种基于算子影响域动态感知的弹性资源分配方法，能够动态且提前地调整算子并行度。该方法的主要贡献如下：
- 首次利用算子间的动态相关性进行资源分配。通过静态选择性指标和动态选择性统计指标评估上游算子的影响域，自适应地将DSPA划分为分区，并以分区为单位规划算子的并行度。
- 使用随机森林回归（RFR）在线建模每个分区内算子间的相关性，并动态更新。针对每个分区的输入负载，计算该分区内每个算子的最优并行度。
- 采用元学习方法在线预测每个分区的负载。首次将具有强表达能力的长短期记忆网络（LSTM）元学习器和高效的多层感知器（MLP）基学习器相结合，实时捕捉数据流的波动特征。
- 实验结果表明，该方法既能保证端到端延迟满足QoS要求，又能提高资源利用率。

2. 动机

2.1 上下游算子间的动态相关性

在DSPAs中，数据流由上游算子处理后发送到下游算子。以上游算子负载或并行度发生变化时，下游算子也会相应改变