技术分享 | Jump Consistent Hash 原理解析(上篇)

最新推荐文章于 2023-04-23 16:39:55 发布
原创 最新推荐文章于 2023-04-23 16:39:55 发布 · 895 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MySQL #数据库

本文深入探讨了一致性哈希中的跳跃法原理，对比取模法，跳跃法在节点变更时仅需移动少量数据，避免了全部洗牌现象。通过数学归纳法和随机数种子，实现了数据在多个节点间的均匀分布。文章还预告了优化性能的对数级复杂度方法。

作者：傅文辉

之前爱可生开源社区公众号发表了dble 沿用 jumpstringhash，移除 Mycat 一致性 hash 原因解析, 阐述了跳跃法相对环割法的性能优势。很多读者表示对其中"跳跃法的原理"不是很理解，本文就来详细阐述一下。

一致性哈希

首先，我们的需求是，将数据(key-value pair)分布在多个节点上。这点可以简单的用取模实现，

节点 key
1 1 4 7 10
2 2 5 8 11
3 3 6 9 12

然而，当增加新节点时，数据将发生大规模转移：

节点 key
1 (1) 5 9
2 (2) 6 10
3 (3) 7 11
4 4 8 12

一致性哈希的主要目的是，在节点数量发生变更时，只需要在节点间移动少量数据，而不是"全部洗牌"。

除了经典的环割法一致性哈希外，Google

最低0.47元/天 解锁文章
（跳跃）一致性哈希及其在Greenplum中的应用
LittleMagic's Blog
03-18 1161
前言 一致性哈希(consistent hashing)是分布式系统中非常重要的算法，在平滑扩缩容、动态负载均衡等方向有大量应用。相对于传统的线性(取模)哈希算法，一致性哈希可以保证在分布式哈希表中的桶数量发生变化时，受到影响需要重新映射的key尽量少。本文先简要复习下经典的割环一致性哈希方案，然后介绍它的变种——跳跃一致性哈希(jump consistent hash)。 割环一致性哈希 一致性...
jch:Jump Consistent Hash 的 luvit 实现
07-12
从纸上 我们提出了跳转一致哈希，这是一种快速、最小内存、一致的哈希算法，可以用大约 5 行代码表示。 与Karger等人的算法相比，跳转一致hash不需要存储，速度更快，并且在桶之间平均分配密钥空间以及在桶数量变化...
go-jump-consistent-hash：快速，最少的内存，一致的哈希算法
01-31
跳转一致哈希 John Lamping和Eric Veach的跳转一致性哈希算法[1]的实现。 [1] 用法 import jump "github.com/lithammer/go-jump-consistent-hash" func main () { h := jump . Hash ( 256 , 1024 ) // h = 520 } 包括用于将string用作键而不是uint64的辅助函数。 这需要一个哈希器，该Hash()将字符串计算为Hash()接受的格式。 为了方便起见，还包括使用的哈希器。 h := jump . HashString ( "127.0.0.1" , 8 , jump . NewCRC64 ()) // h = 7 实际上，尽管您可能想要使用Hasher所以不必重复存储桶大小和使用的密钥哈希器。 它还使用更方便的类型，例如int而不是int32 。 hasher := jump . New ( 8 , jump . NewCRC64 ()) h := hasher . Hash ( "127.0.0.1" ) // h =
Jump-Consistent-Hashing-Evaluation:对一致性哈希的评估，尤其是 Google 的 Jump Consistent Hashing
06-27
跳跃一致哈希计算 甚至服务器之间的数据分布也非常重要：另一个重要方面是能够添加或删除服务器而不必完全重新组织数据。 该测试旨在比较在两种不同散列方案中服务器数量发生变化时所需的移动次数：一种基于模算术与一致散列。 关于一致性哈希，使用的算法是谷歌的论文“A Fast, Minimal Memory, Consistent Hash Algorithm”中提出的Jump Consistent Hashing。
jump Consistent hash:零内存消耗，均匀，快速，简洁，来自Google的一致性哈希算法
innobase的博客
06-12 7556
jump Consistent hash:零内存消耗，均匀，快速，简洁，来自Google的一致性哈希算法 2015-03-13 简介 jump consistent hash是一种一致性哈希算法, 此算法零内存消耗，均匀分配，快速，并且只有5行代码。 此算法适合使用在分shard的分布式存储系统中 。 此算法的作者是 Google 的 John Lamping 和
JumpConsistentHash，一种快速、简单、内存占用最少的一致性hash算法
victorika的博客
04-23 864
JumpConsistentHash提出了一种崭新的思路来解决这类问题，如果理解了原理那很容易看出想要增加或者删除node需要在末尾进行操作，这是和传统的实现不一样的地方。但笔者认为这个不是什么很大的缺点，它优秀的复杂度和实现完全可以覆盖掉这个缺点。笔者最近刚好要搭一套分布式缓存服务，最后直接拿这个上手非常好用。如果还想了解更多细节，比如benchmark之类的建议看原文。
Python库 | jump_consistent_hash-3.1.1-cp27-cp27m-win_amd64.whl
03-31
资源分类：Python库 所属语言：Python 资源全名：jump_consistent_hash-3.1.1-cp27-cp27m-win_amd64.whl 资源来源：官方 安装方法：https://lanzao.blog.youkuaiyun.com/article/details/101784059
Java语言Consistent Hash算法学习笔记（代码示例）
08-28
public ConsistentHash(int replicas, Collection<T> nodes) { this.replicas = replicas; for (T node : nodes) { for (int i = 0; i ; i++) { circle.put(hash(node.toString() + "-" + i), node); } } } ...
（跳跃）一致性哈希算法
weixin_39094034的博客
12-10 1235
（跳跃）一致性哈希算法
分布式 | Jump Consistent Hash 原理解析（下篇）
ActionTech的博客
12-24 333
作者：傅同学 爱可生研发部成员，主要负责中间件产品开发，热衷技术原理。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 前言 之前爱可生开源社区公众号发表了《dble 沿用 jumpstringhash，移除 Mycat 一致性 hash 原因解析》。 随后又发表了本文上篇，初步解释了 Jump Consistent Hash 的原理。 首先让我们回顾一下： 扩容时，随机选择要移动的元素 从现有 n 节点扩容到 n+1 节点时，n 节点上每个元素.
RedisJumphash:Google的C语言中的“跳转”一致哈希函数，作为Redis模块
03-15
RedisJumphash 一个端口用作C中的Redis模块。 一致的散列指定了服务器之间数据的分布，以便可以添加或删除服务器而不必完全重组数据。 最初提出将其用于Internet上的Web缓存，以解决客户端可能不了解整个缓存服务器集合的问题。 关于跳转哈希的一些知识： ...跳转一致性哈希不需要存储，速度更快，并且在将存储桶数变化时，在存储桶之间平均分配键空间以及平均分配工作负载方面做得更好。 RedisJumphash提供了非常快速的一致性哈希函数，以使用Redis构建分布式系统。 用法 JUMPHASH <key> <number> 成功调用将返回给定密钥的存储桶。 它不需要任何存储。 如果您更改存储桶的数量，该算法将保证需要的重定位次数最少。 看一下这个： 127.0.0.1:6379> JUMPHASH buraksezer 271 (inte
jump 开发文档
09-08
jump基础开发资料，讲述jump的开发技术，开发技巧、指导。
Go-Consistent-hashing:Go中的散列环实现
08-13
Consistent-hashing: Go中的散列环实现
聊聊jump consistent hash
weixin_33859665的博客
11-11 272
序 本文主要简介一下jump Consistent hash。 jump consistent hash jump consistent hash是一致性哈希的一种实现，论文见A Fast, Minimal Memory, Consistent Hash Algorithm经典的一致性哈希算法来自Consistent Hashing an...
Google Jump Consistent Hash 一致性哈希算法
ltochange的博客
11-18 879
接触到这个一致性哈希算法是在腾讯音乐的讲座中，用于在线扩容 如图中的例子，本来只有group0和group1，现在要增加一个group2用于推送新的数据，如果使用不满足单调性要求的hash方法，首先向group2推送数据，然后向group0推送数据，如下图所示： 此时，group1还未更新，group0和group2已经更新，在这个时间段，数据docC是丢失的。 但是如果满足单调性，在增加一个group的情况下，原来在group0的docC只会在原来的group0或者新的group2，不可..
[C#] 一致性哈希（Consistent Hashing）的实现
emowuyi
09-08 235
网上没看到C#的一致性哈希的实现，所以这里提供一份。 同样的代码也在：http://code.google.com/p/consistent-hash/ source code: using System; using System.Collections.Generic; using System.Linq; using System.Runtime.InteropServices; us...
【翻译/介绍】jump Consistent hash:零内存消耗，均匀快速简洁，来自Google
weixin_33800593的博客
06-03 154
2019独角兽企业重金招聘Python工程师标准>>> ...
Go语言实现Jump Consistent Hash算法项目
该项目的描述中提到实现了Jump Consistent Hash算法，并且是用Go语言编写的。了解这个开源项目，我们需要先探索几个关键概念。 首先，让我们探讨一下什么是“Jump Consistent Hash”算法。Jump Consistent Hash是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值