go实现GeeCache（一致性哈希）

已于 2024-06-04 20:16:25 修改
阅读量252 收藏 1
点赞数 9
文章标签： 哈希算法 算法
于 2024-04-21 10:12:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wzw_zdhxn/article/details/138022612
版权
文章讲述了在分布式缓存系统中，如何通过一致性哈希算法解决数据获取效率和一致性问题，以及如何处理数据倾斜现象，通过创建虚拟节点实现数据更均匀的分布。作者还给出了节点信息结构和操作代码实现的概述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先对于分布式的缓存来说，假设有10个节点用来存储数据，现在我要获取某个key的值，最笨的方法就是对十个节点每个节点都进行请求，但是这样的请求不如将所有的数据都集成到一个节点中，还节省了请求发送和接受的时间，同时也保证了数据的一致性（假设请求了10个节点，有多个节点返回了结果，并且结果都还不一样，这样就无法确认那个是正确的数据）

这个时候就需要一致性哈希算法

一致性hash算法的主要思想就是假设有编号1-100的数据，现在有10个节点来存放这100条数据，比较好的想法就是第一个节点管理1-10，第二个节点管理11-20.......依次类推。一致性hash算法也差不多是这样，但是没有这样的平均，首先我们计算所有key的hash值，并排好序形成一个环，对于所有的节点我们同样也计算他的hash值（一般是计算节点名称的hash值）然后关于key的归属，假设有key的hash值1 3 5 8 9 有三个节点的hash 2 5 8，那么对于每个数据的归属都是通过二分查找不小于当前key的hash值的最小节点hash对应的节点，如果大于所有节点那么就是最小的那个节点，所以节点2存储1 9，节点5存储3 5，节点8存储8。

数据倾斜问题：指的就是假设有数据1 3 5 8 9，有节点2 3 4，这个时候一半以上的数据都在节点2上，节点4没有任何的数据，这个时候我们就创建多个虚拟节点，一个实际的节点对应多个虚拟节点，虚拟节点的创建可以通过节点名+数字的方式求得多个hash值，通过增加散点数量来使数据尽量均匀的分布

然后是代码的实现

首先是定义一个结构体，主要用于存放节点的信息

添加节点和获取数据所在的节点

周末zm
关注
go语言实现一致性Hash算法（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
03-28 48
go语言实现一致性Hash算法（附完整源码）
【golang】分布式缓存 - 一致性哈希算法
Free_Ya的博客
08-09 361
一致性哈希算法、分布式缓存、geeCache
一致性hash算法的应用与go语言实现
小飞的博客
06-05 585
一致性hash算法通过其独特的设计理念和实现方式，在分布式系统中发挥着重要作用。它不仅能够解决节点增减时数据映射关系的最小变动问题，还能够实现数据的均匀分布和高效访问。在分布式缓存、数据库分库分表、P2P网络等场景中，一致性hash算法都有着广泛的应用前景。
Go语言实现一致性哈希(Consistent Hashing)算法
拙言的专栏
02-21 5831
一致性哈希可用于解决服务器均衡问题。 简单实现了下。 并加入了权重，可采用合适的权重配合算法使用。
go语言实现 一致性hash算法
weixin_44540711的博客
03-31 818
package tool import ( "errors" "hash/crc32" "sort" "strconv" "sync" ) //申明切片类型 type units []uint32 //返回切片长度 func (x units) Len() int { return len(x) } //比较两个值的大小 func (x units) Less(i, j int) bool { return x[i] < x[j] } //切片中值交换 func (x unit
Golang的一致性哈希实现
agi8189的博客
04-20 243
Golang的一致性哈希实现 一致性哈希的具体介绍，可以参考：http://www.cnblogs.com/haippy/archive/2011/12/10/2282943.html 1 import ( 2 "hash/crc32" 3 "sort" 4 "strconv" 5 "sync" ...
一致性哈希算法和Go语言实现
weixin_34037515的博客
11-23 169
一致性哈希算法，当我第一次听到这个名字的时候，感觉特别高深。而它往往会和分布式系统相关，准确的说，是分布式缓存。 在Web服务中，缓存是介于数据库和服务端程序之间的一个东西。在网站的业务还不是很大的时候，一般不会需要这个东西，每次都可以从数据库中查询获得数据，但是随着网站的访问量增大，每次请求都访问数据库的话，数据库的压力就会非常大，导致响应变慢，于是就需要一种缓存数据库，它们的存储结构一般比较...
【go项目-geecache】动手写分布式缓存 - day4 - 一致性哈希(hash)
csxylrf的博客
04-18 574
首先把整个哈希值空间变成一个环，然后把key哈希放在环上，接着把value哈希放在环上，我们让value哈希的位置的顺时针的下一个key哈希作为对应关系 ，因为整个哈希空间是个环，这样即使某些节点增加或者减少，也只需要修改节点附近的对应关系。它的主要思想是将数据和节点映射到一个虚拟环形空间中，通过一致的哈希函数将数据均匀地分布在环上，然后根据节点在环上的位置将数据映射到相应的节点上，从而实现负载均衡。一致性哈希（Consistent Hashing）是一种常用的哈希算法，主要用于解决。
【golang项目-GeeCache】动手写分布式缓存 day1 - 实现LRU算法
csxylrf的博客
04-16 636
LRU(Least Recently Used) 最近最少使用 算法 ，系统认为如果这个数据最近使用过那么它被再次使用的概率会高，所以系统会先淘汰最久没被使用的数据。
(源码)基于Golang的分布式缓存系统GeeCache.zip
最新发布
03-26
1. 运用一致性哈希算法确定数据存储位置，实现数据均匀分布与节点动态增减。 2. 采用LRU算法自动淘汰最久未使用数据，释放缓存空间。 3. 支持多节点运行，实现数据的分布式存储与访问。 4. 提供HTTP接口，可通过HTTP...
go 一致性hash
jinchenga的博客
07-10 172
如果服务器的节点过少，容易引起key的倾斜。例如上面的例子中p2、p4、p6分布在环的上半部分，下半部分是空的。那么映射到下半部分的key都会被分配给p2，key过度倾斜到了p2缓存间节点负载不均衡；假设1个真实的节点对应3个虚拟节点，那么p1对应的就是p1-1、p1-2、p1-3。实现原理：将key映射到 2^32 的空间中，将这个数字的首尾相连，形成一个环。，一个真实的节点对应多个虚拟的节点。为了解决这个问题，引入了。
consistent:一个Go库，该库实现一致性哈希和有界负载的一致性哈希
04-12
包装一致 一致性哈希和有界负载的一致性哈希的Golang实现。 一致的哈希示例 package main import ( "log" "github.com/lafikl/consistent" ) func main () { c := consistent . New () // adds the hosts to the ring c . Add ( "127.0.0.1:8000" ) c . Add ( "92.0.0.1:8000" ) // Returns the host that owns `key`. // // As described in https://en.wikipedia.org/wiki/Consistent_hashing // // It returns ErrNoHosts if the ring has no host
Go-dolphin是一个集成了api网关服务发现请求限流一致性hash路由
08-13
dolphin是一个集成了api网关，服务发现，请求限流，一致性hash路由，服务调度的统一接入框架，旨在对微服务的开发和依赖做到更加智能的管理，加快开发速度，解决中小团队开发微服务的难度。
GoLang实现一致性哈希算法
xiongwenwu的专栏
01-21 2828
直接上代码，windows7，go1.7下直接运行。package mainimport ( "fmt" "sort" "strconv" "hash/crc32" "sync" )const DEFAULT_REPLICAS = 160type HashRing []uint32func (c HashRing) Len() int { return
一致性hash算法原理及golang实现
weixin_34023982的博客
03-05 222
概述 这里存在一种场景, 当一个服务由多个服务器组共同提供时, key应该路由到哪一个服务.这里假如采用最通用的方式key%N(N为服务器数目), 这里乍一看没什么问题, 但是当服务器数目发送增加或减少时, 分配方式则变为key%(N+1)或key%(N-1).这里将会有大量的key失效迁移,如果后端key对应的是有状态的存储数据,那么毫...
Go实现一致性哈希算法
哥斯拉啊啊啊哦的博客
05-16 533
想象有一个圆，该圆由 2^32 个数字点组成，这样的环也叫做 哈希环。再假设有3个服务器 a, b, c，此时分别对 a,b,c 服务器进行哈希计算再用 2^32 取模，那结果肯定能对应到环上的某个点。再用同样的方法，对需要缓存的图片进行哈希计算和取模，也肯定能对应到环上的某个点。此时，按顺时针方向找，找到的第一个缓存服务器，就将该图片数据缓存到该服务器上。
数据结构STL——golang实现一致性哈希consistentHash
l2975的博客
12-27 720
github仓库存储地址：https://github.com/hlccd/goSTL 概述 ​ 一致性哈希（consistent hash），与一致性哈希相对的是不一致性哈希，但常见的所有的哈希几乎都是不一致的，即哈希桶的容量的不固定的，可以根据需求进行扩容和缩容，不一致性哈希可以提高空间的利用率，但相应的，当进行扩容和缩容操作时需要对桶内存储的所有元素重新计算哈希值，这在某些情况是十分麻烦的事情，特别是在分布式存储的环境下，此时每个哈希结点就相当于一个机器，文件分布在哪台机器由哈希算法来决定，这个系统
一致性哈希（CONSISTENT HASH）的GO实现
zhanglehes的专栏
03-17 507
一致性hash简介 主要针对多cache的应用场景，当cache服务器变动时，希望cache中的信息尽可能被使用到； 需要做好负载均衡，同时不能因为添加和删除cache节点造成部分节点负载过重； 代码实现 1、类的定义 type SortedKeys []uint32 func (x SortedKeys) Len() int { return len(x) } f...
golang实现一致性哈希算法
skh2015java的博客
01-23 1564
import ( "errors" "hash/crc32" "sort" "strconv" "sync" ) type uints []uint32 // Len returns the length of the uints array. func (x uints) Len() int { return len(x) } // Less returns true if el
Go语言实现的一致性哈希与有界负载一致性哈希库介绍
该库通过实现一致性哈希和有界负载的一致性哈希，为Go语言开发提供了一种高效、便捷的分布式数据处理方案。一致性哈希的基本思想是在哈希值空间中将节点映射成一个圆环，每个节点负责圆环中的一部分区间。当请求到达...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值