memcache一致性hash原理

最新推荐文章于 2022-06-14 11:05:35 发布

原创最新推荐文章于 2022-06-14 11:05:35 发布 · 712 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hash #memcache

缓存专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了Ketama哈希算法在Memcached中如何实现节点分布的均衡。通过MD5哈希计算生成虚拟节点，并利用这些节点来均匀分布缓存数据，从而提高缓存系统的整体性能。

protected void setKetamaNodes(List<MemcachedNode> nodes) {  
TreeMap<Long, MemcachedNode> newNodeMap = new TreeMap<Long, MemcachedNode>();  
int numReps= config.getNodeRepetitions();  
for(MemcachedNode node : nodes) {  
    // Ketama does some special work with md5 where it reuses chunks.  
    if(hashAlg == HashAlgorithm.KETAMA_HASH) {  
        for(int i=0; i<numReps / 4; i++) {  
            byte[] digest=HashAlgorithm.computeMd5(config.getKeyForNode(node, i));  
            for(int h=0;h<4;h++) {  
                Long k = ((long)(digest[3+h*4]&0xFF) << 24)  
                    | ((long)(digest[2+h*4]&0xFF) << 16)  
                    | ((long)(digest[1+h*4]&0xFF) << 8)  
                    | (digest[h*4]&0xFF);  
                newNodeMap.put(k, node);  
                getLogger().debug("Adding node %s in position %d", node, k);  
            }  
  
        }  
    } else {  
        for(int i=0; i<numReps; i++) {  
            newNodeMap.put(hashAlg.hash(config.getKeyForNode(node, i)), node);  
        }  
    }  
}  
assert newNodeMap.size() == numReps * nodes.size();  
ketamaNodes = newNodeMap;

大意就是先看看每个真实节点需要弄多少个虚拟节点，4个虚拟节点为一组，通过getKeyForNode方法获取每一组的名字，然后获得通过mg5算话，获取一个16字节的数组，每个虚拟节点取其中的4个字节，组成一个long型数，然后存储在newNodeMap里头。