5、改善倾斜数据分布下的在线聚合性能

改善倾斜数据分布下的在线聚合性能

在处理数据仓库系统时，数据分布的倾斜性常常会对在线聚合性能产生不利影响。为了解决这一问题，相关研究提出了一种基于分区的在线聚合系统（POAS），下面我们将详细探讨其更新策略、查询引擎、估计器与置信区间等方面的内容。

1. 更新策略

POAS 的更新策略基于数据仓库系统以批量模式进行更新这一事实。系统会收集所有更新并定期提交。在更新期间，系统会停止处理任何查询，仅专注于两个操作：分区更新和 NRB - T 更新（如有必要）。根据需要插入的元组数量，更新策略如下：
- 大量更新元组的情况 ：
1. 对这些元组进行分区和洗牌操作，生成一组更新分区。
2. 将这些更新分区追加到相应现有分区的末尾。
3. 进行另一次文件级的洗牌操作，以增强随机性。
4. 如果有元组不属于任何分区，则创建几个新分区，并在 NRB - T 中添加额外节点来记录这些新分区。
- 少量更新元组的情况 ：
1. 直接将更新分区追加到相应分区的末尾，无需进行洗牌操作。
2. 如有必要，对 NRB - T 执行与大量更新元组情况相同的更新操作。

2. 查询引擎

查询引擎处理聚合查询的过程如下：
1. 获取相关分区 ：查询引擎访问 NRB - T，获取给定查询的相关分区。
2. 动态抽样 ：从这些相关分区中以动态样本大小抽取样本。动态样本大小的基本思想是每个相关分区提供与其基数成比例的样本数量。例如，若查询 Q 需要