【分布式】一致性哈希 Distributed Hash Table 学习笔记

目录

• 一致性哈希介绍
• 一致性哈希原理
• 一致性哈希应用

1、一致性哈希介绍

       一致性哈希，英文：distributed hashtable， 简称DHT, 是麻省理工提出的一种算法，该算法可以有效解决分布式存储结构下动态增加和删除节点带来的问题。

2、一致性哈希原理

1. 我们把全量的缓存空间当做一个环形存储结构。环形空间总共分成2^32个缓存区，在Redis中则是把缓存key分配到16384个slot。
2. 每一个缓存key都可以通过Hash算法转化为一个32位的二进制数，也就对应着环形空间的某一个缓存区。我们把所有的缓存key映射到环形空间的不同位置。
3. 我们的每一个缓存节点（Shard）也遵循同样的Hash算法，比如利用IP做Hash，映射到环形空间当中。
4. 如何让key和节点对应起来呢？很简单，每一个key的顺时针方向最近节点，就是key所归属的存储节点。所以图中key1存储于node1，key2，key3存储于node2，key4存储于node3。

• 增加节点：当缓存集群的节点有所增加的时候，整个环形空间的映射仍然会保持一致性哈希的顺时针规则，所以有一小部分key的归属会受到影响。有哪些key会受到影响呢？图中加入了新节点node4，处于node1和node2之间，按照顺时针规则，从node1到node4之间的缓存不再归属于node2，而是归属于新节点node4。因此受影响的key只有key2。最终把key2的缓存数据从node2迁移到node4，就形成了新的符合一致性哈希规则的缓存结构。

• 当缓存集群的节点需要删除的时候（比如节点挂掉），整个环形空间的映射同样会保持一致性哈希的顺时针规则，同样有一小部分key的归属会受到影响。有哪些key会受到影响呢？图中删除了原节点node3，按照顺时针规则，原本node3所拥有的缓存数据就需要“托付”给node3的顺时针后继节点node1。因此受影响的key只有key4。最终把key4的缓存数据从node3迁移到node1，就形成了新的符合一致性哈希规则的缓存结构。

• node节点不均匀的处理情况，则使用虚拟节点处理，node1添加 虚拟节点node1-1， 虚拟节点node1-2 ； node2添加 虚拟节点node2-1， 虚拟节点node2-2；

 

3、一致性哈希应用

1. 分布式缓存系统
2. 水平分库分表