Hash一致性算法和实现（初稿）

原创已于 2022-03-14 11:07:10 修改 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#哈希算法 #算法

于 2022-03-14 11:04:58 首次发布

技术分享专栏收录该内容

13 篇文章

订阅专栏

本文介绍了如何使用一致性Hash算法解决节点扩容和故障导致的缓存失效问题，以及通过引入虚拟节点来平衡数据分布。文中提到了使用红黑树作为Hash环的存储结构，并给出了具体的Java实现，包括普通Hash算法与FNV1_32_HASH散列函数。通过虚拟节点，可以缓解因节点分布不均造成的数据倾斜。此外，还详细展示了如何在代码中添加和查询节点。

最近项目需要用到一致性Hash算法，先简单整理下资料，后面再写个全面的

普通Hash算法
Math.abs(client.hashCode()) % 节点数Hash一致性算法
为解决节点扩容和故障导致的大规模缓存失效的问题
红黑树作为Hash环的储存结构

#add
SortedMap<Integer,String> hashServerMap =  new TreeMap<>();
hashServerMap.put(serverHash,serverName);

#query
SortedMap<Integer, String> integerStringSortedMap = hashServerMap.tailMap(key);
Integer firstKey = hashServerMap.firstKey();

Hash一致性算法加虚拟节点
解决因为节点分布不均匀而造成数据倾斜问题]
// 处理虚拟节点

for(int i = 0; i < virtaulCount; i++) {
    int virtualHash = Math.abs((serverName + "-" + i).hashCode());
    hashServerMap.put(virtualHash,"----由虚拟节点"+ i  + "映射过来的请求："+ serverName+"-"+i);
}

算法FNV1_32_HASH散列会分散点

private static int getHash(String str) {
        final int p = 16777619;
        int hash = (int) 2166136261L;
        for (int i = 0; i < str.length(); i++)
            hash = (hash ^ str.charAt(i)) * p;
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;
        // 如果算出来的值为负数则取其绝对值
        if (hash < 0)
            hash = Math.abs(hash);
        return hash;
}