68、高效数据分布与重新分配策略

高效数据分布与重新分配策略

在分布式查询密集型数据环境中，为了提高系统的查询响应效率，需要解决负载均衡的问题。本文将介绍两种有效的策略：静态数据分布策略 DDH 和动态数据重新分配策略 DRC，它们能够通过负载均衡来加速系统的查询响应时间。

1. DDH - 静态数据分布策略

DDH 旨在离线进行合理的数据分布，以帮助实现系统中的查询负载均衡。由于用户的查询行为通常具有一定的固有模式，用户频繁查询的数据很可能会再次被查询。因此，在考虑合理的数据分布时，考虑查询负载历史是很重要的。

DDH 使用基于哈希的启发式技术来分布数据。在分布过程中，整个数据集被表示为多个数据组。主要思想是通过哈希将这些数据组随机分布到桶中。每个桶包含相似的查询负载，而不是相似的数据大小（查询负载通过数据的查询频率来衡量）。然后，通过将桶平均分配给 BE 服务器，每个服务器可以期望具有接近相等的查询负载。

哈希过程如下：
- 使用二级存储哈希表，因为实际中数据大小通常非常大。
- 哈希函数将搜索键（数据组的唯一键特征）映射到 0 到 n - 1 的范围，其中 n 是指向桶列表头的指针数组的长度（n 由总数据大小、数据组大小和桶的最大容量决定）。
- 哈希到相同地址的数据组将被分配到同一个桶中。
- 桶的容量有一个上限，我们将单个桶中可以容纳的数据组的最大数量表示为 GNmax。
- 系统中所有数据组的平均负载为 DLavg。当桶中包含的数据组的总负载超过阈值 ϕ（计算为 GNmax * DLavg）时，桶会溢出。
- 如果桶溢出，可以向该桶添加一个溢出桶链。
- 使用桶表来组织所有的桶，通过存储它们的链接。