一、前言
在分布式架构系统中,要将数据存储到具体的节点上,如果采用普通的key%N取模Hash算法,将数据映射到具体的节点上,就有可能大部分数据集中在某一个节点,形成“热点”数据,造成数据分布失衡,二是如果有一个机器加入或退出这个集群,则大部分的数据映射都无效了,数据需要重新进行排列。
基于上面普通Hash算法的问题,1997年由麻省理工学院提出一致性Hash算法,引入了“虚拟节点”的概念:即想象在这个环上有很多“虚拟节点”,数据的存储是沿着环的顺时针方向找一个虚拟节点,每个虚拟节点都会关联到一个真实节点;一个真实节点对应多个虚拟节点,虚拟节点足够多的情况下,可以使数据分布尽可能的平衡,但是需要注意的是一致性Hash算法也不能百分百解决普通Hash算法的问题,极端情况下,可能存在和普通Hash算法一样的问题。
二、基于一致性Hash算法解决普通Hash算法常见问题
在业务中,假设有一个场景,需要把用户User信息尽可能均衡的保存到32个后端用户数据库中(为了有对比效果,这里使用重写User hashcode()方法的方式来通过HashMap存储来实现)。
1. 普通Hash算法
- 参考实现代码:
import java.util.HashMap;
import java.util.Map;
import java.util.Objects;
public class CommonHashTest2 {
static class User {
private String name;
private int age;
public User(String name, int age) {
this.name = name;
this.age = age;
}
@Override
public boolean equals(Object o) {