5、PolyBench：多存储系统基准测试的探索与发现

PolyBench：多存储系统基准测试的探索与发现

在数据处理领域，多存储系统（Polystores）旨在克服单一通用数据存储的局限性。随着多存储系统数量的增加，对其进行有效基准测试变得至关重要。本文将介绍PolyBench这一针对多存储系统的首个基准测试，探讨其测试场景、实验结果以及面临的挑战和未来展望。

1. 关键指标与测试场景

在PolyBench中，有两个关键指标和两种主要测试场景。
- 关键指标
- 成员存储选择 ：仅考虑由多存储查询优化器为执行特定用例而选择的成员存储。
- 负载 ：由异构输入数据的大小定义，采用10GB、50GB和100GB的异构输入数据，每种数据由不同的同构输入数据大小组成。
- 测试场景
- 资源分配 ：成员存储和资源之间存在多对多关系。该场景接收总体资源量作为输入，将资源分配给特定的成员存储，确保多存储系统的所有资源都被利用。例如，在扩展/收缩场景中，用户在添加新资源时，多存储系统应优化分配新资源。
- 负载分配 ：成员存储的负载受输入数据大小和分配的子查询两个因素影响。由于子查询分配是系统内部过程，我们主要关注输入数据大小。该场景的思路是调整同构输入的大小，找到不同的同构输入大小比例，同时保持异构输入数据大小不变。

下面是一个mermaid流程图，展示资源分配和负载分配的流程：