22、分布式数据库分区、事务及相关技术解析

分布式数据库分区、事务及相关技术解析

分区策略与再平衡

在处理大规模数据集时，分区是将数据分散到多个节点的有效方法。分区策略有多种，其中一种是使分区数量与数据集大小成比例，且分区数量与节点数量无关。

而 Cassandra 和 Ketama 采用的策略是让分区数量与节点数量成比例，即每个节点有固定数量的分区。当数据集增大且节点数量不变时，每个分区的大小会相应增加；当增加节点时，分区会变小。这种方法能使每个分区的大小保持相对稳定。

当新节点加入集群时，它会随机选择固定数量的现有分区进行拆分，然后接管每个拆分分区的一半，另一半仍留在原节点。虽然随机拆分可能导致不公平，但当分区数量足够大（如 Cassandra 默认每个节点 256 个分区）时，新节点最终会从现有节点中获得公平的负载份额。Cassandra 3.0 还引入了一种避免不公平拆分的再平衡算法。

随机选择分区边界需要使用基于哈希的分区方法，这样边界可以从哈希函数生成的数字范围中选取。这种方法与一致性哈希的原始定义最为接近，较新的哈希函数可以以更低的元数据开销实现类似效果。

自动与手动再平衡

再平衡操作存在一个重要问题：是自动进行还是手动进行？这存在一个从完全自动到完全手动的梯度。完全自动再平衡是指系统自动决定何时将分区从一个节点移动到另一个节点，无需管理员干预；完全手动则是管理员明确配置分区到节点的分配，只有在管理员明确重新配置时才会改变。

例如，Couchbase、Riak 和 Voldemort 会自动生成建议的分区分配，但需要管理员确认后才会生效。

完全自动化的再平衡操作方便了日常维护，减少了操作工作量，但具有不可预