groupcache源码分析

最新推荐文章于 2024-11-05 11:57:22 发布
原创 最新推荐文章于 2024-11-05 11:57:22 发布 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#golang #源码 #go语言 #缓存

本文详细分析了groupcache的源码，包括lru缓存、一致性哈希、singleflight并发控制、byteview数据结构、HTTP服务器与分布式peers、以及groupcache的核心功能。groupcache是Golang中用于缓存的库，可以替代memcache，其设计包含了LRU策略、一致性哈希分发、并发写合并等关键技术。

 

本文公众号文章链接：https://mp.weixin.qq.com/s/nL6iD6oDcFyuZM-eGSllXg

本文csdn博客文章链接：https://blog.youkuaiyun.com/screscent/article/details/79723155

 

groupcache是go语言开发的缓存库。用于替换memcache的。

 

代码目录：

 

主要的代码框架如下

那么我们一个一个来讲解下。

一、lru

github.com/golang/groupcache/lru/lru.go

Cache结构体里，有两个东西关注下。ll list和cache，用了一个map来做查找，用ll来做lru刷新。

 

二、consistenthash

github.com/golang/groupcache/consistenthash/consistenthash.go

一致性hash，这里的代码也是很简单的。想要了解的，可以先去看看一致性hash原理

 

三、singleflight

github.com/golang/groupcache/singleflight/singleflight.go

这个文件里的代码很少，但很重要

Group结构体里，包含了一个map，value是call，其中包含了一个wg。这个wg是重点

 

最低0.47元/天 解锁文章
groupcache源码解析（IRU）
qq_42649688的博客
06-14 530
一、什么是LRU LRU是Least Recently Used的缩写，即最近最少使用，是一种常用的页面置换算法，选择最近最久未使用的页面予以淘汰。 二、代码解析 iru/iru.go type Cache struct { //缓存中最多存储的条数，当MaxEntries为0时没有限制 MaxEntries int //销毁前回调 OnEvicted func(key Key, value interface{}) //链表 ll *list.List //key为任意类型，值为
GroupCache源码分析(1):LRU算法
qq_51677496的博客
09-22 288
GroupCache源码分析(1):LRU算法 （1）概述： 如图，groupcache的LRU就是一个哈希表映射一个双向链表。使得增删改都是o(1)。 LRU认为，如果数据最近被访问过，那么他将来被访问的概率也更大，于是把最近受访问的数据移动到队头。那么队尾自然就是最不常被访问的，所以只要内存满了，就淘汰队尾数据。 (2)源码 首先是主结构cache，包括了双向链表和map // Cache is an LRU cache. It is not safe for concurrent access. t
groupcache:groupcache原始阅读
03-23
组缓存 概括 groupcache是​​一个缓存和缓存填充库，在许多情况下都可以替代memcached。 有关API文档和示例，请参见 与memcached的比较 像memcached ，groupcache一样： 通过密钥分片以选择哪个对等方负责该密钥 与memcached不同，groupcache： 不需要运行单独的服务器集，从而大大减少了部署/配置的麻烦。 groupcache是​​客户端库和服务器。 它连接到自己的对等点。 带有缓存填充机制。 memcached只是说“对不起，缓存未命中”，这通常会导致无数客户的数据库（或其他）负载激增（这导致了几次有趣的中断），而groupcache协调缓存填充，以至于只有一个负载整个复制的一组过程中的一个过程将填充高速缓存，然后将加载的值多路复用到所有调用者。 不支持版本值。 如果键“ foo”为值“ bar”，则键“ foo”必须始
groupcache源码分析（四）-- singleflight
Mr.Buffoon
11-06 1153
singleflight.go文件中是singleflight模块的代码，这主要是进行相同访问的一个合并操作。也就是说，如果对于某个key的请求已经存在并且正在进行，则对该key的新的请求会堵塞在这里，等原来的请求结束后，将请求得到的结果同时返回给堵塞中的请求。 该部分就封装了一个接口： func (g *Group) Do(key string, fn func() (interface{}, ...
groupcache源码解析
Tommenx的博客
10-06 733
简介 groupcache是一个分布式kv缓存的library，能够实现对数据的set、get，而不能进行update和delete操作。groupcache采用的是P2P的架构，所有的节点都是同构的。当客户端程序查找某个值时，groupcache先在本地的cache中进行查找，如果不存在，则通过一致性哈希寻找该key-value所在的peer的地址，如果都不存在则从数据源（数据库）拉取。cach...
【分布式缓存源码分析】Memcached、groupcache和GeeCache（一）
Kaimar的博客
02-03 970
文章目录1. 分布式缓存1.1 背景1.2 面临的问题1.2.1 内存1.2.2 并发写1.2.3 单机性能2. 分布式内存对象缓存系统介绍2.1 Memcached2.1.1 介绍2.1.2 常见的提速方法2.1.3 memcached特征2.1.4 使用场景2.2 groupcache2.3 GeeCache参考 首先，项目来自极客兔兔分布式缓存-GeeCache，我们先来谈谈分布式缓存，然后介绍一下项目，后序几篇来进行详细分析以及加一些自己的思考。 1. 分布式缓存 引用极客兔兔博客中的一句话，
本地缓存库分析（五）：groupcache
最新发布
qq_39383767的博客
11-05 1111
groupcache是一个分布式本地缓存库，根据一致性hash算法决定某个key由自己负责，还是别的节点负责存在本地的缓存用LRU管理内存淘汰这个库只暴露了get接口（传一个fn进去，缓存中Get不到时调fn从其他地方获取数据，放入缓存），而不支持set/update/delete操作。因此适用场景有限，适合那种对于给定key来说，value不会变的数据例如静态文件，拿md5当key，value是文件内容这么做的好处是不会有更新导致的缓存一致性问题，因为就更新不了下面对一些关键设计进行分析
groupcache源码分析一:LRU
princeteng's blogs
05-12 277
1.LRU简介 LRU(Least Recently Used)是一种缓存淘汰策略. 受内存大小的限制,不能将所有的数据都缓存在内存中,当缓存超过规定的容量时,再往里面加数据就要考虑将谁先换出去,即淘汰掉. LRU的做法是:淘汰最近最少使用的数据. LRU可以通过哈希表+双向链表实现,双向链表的每个结点中存储{key,value},哈希表中存储{key,key所在的结点}. 具体实现可参考:leetcode146——LRU 缓存机制 内存结构示意图 LRU最主要的两个操作为get和put(或add),其中g
GroupCache源码分析（3）：consistenthash
qq_51677496的博客
09-24 194
GroupCache源码分析（3）：consistenthash （1）概述： 一致性哈希原理参考极客兔兔的文章： 动手写分布式缓存 - GeeCache第四天 一致性哈希(hash) （2）源码： // Package consistenthash provides an implementation of a ring hash. // Package consistenthash 提供了一个哈希环 package consistenthash import ( "hash/crc32" "sor
groupcache源码分析（一）-- 概述
Mr.Buffoon
10-29 1181
正在学习GO语言，基本语法已经差不多掌握，就打算阅读一些经典开源源码吸取营养，groupcache源码代码量不是很大，而且里面可以学到很多缓存相关的知识， 所以选取groupcache源码进行阅读分析。本篇先大概的介绍一下groupcache，然后简单分析一下代码结构，后续将会有一系列文章进行代码层面的详细讲解。 groupcache是memcached作者Brad Fitzpatrick用G...
GroupCache源码分析(2)：singleflight
qq_51677496的博客
09-23 242
GroupCache源码分析(2)：singleflight （1）概述： 在groupcache分布式缓存中有一个问题：如果在某一瞬间，队尾节点被淘汰，然后突然涌进一大批请求原队尾节点的数据，这样就可能造成缓存击穿。 缓存雪崩：缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩。缓存雪崩通常因为缓存服务器宕机、缓存的 key 设置了相同的过期时间等引起。 缓存击穿：一个存在的key，在缓存过期的一刻，同时有大量的请求，这些请求都会击穿到 DB ，造成瞬时DB请求量大、压力骤增。 缓存穿透：查
从groupcache源码看分布式一致性缓存设计
straka的博客
04-03 2035
总述 项目地址：https://github.com/golang/groupcache 原博客地址：http://www.straka.cn/blog/groupcache-source-code-reading/ 题外话，是memcached的作者写的，细节处还是很精彩的 groupcache已经在dl.Google.com、Blogger、Google Code、Google Fib...
groupcache源码阅读笔记
Gude的专栏
07-28 1749
groupcache是大神Brad Fitzpatrick使用golang开发的一个缓存系统。
1.go开源groupcache项目——groupcache介绍
热门推荐
badman250的专栏
07-24 3万+
1.go开源groupcache项目——groupcache介绍 代码下载地址如下： https://github.com/golang/groupcache 目标是在很多场景下替换memcached。 1     memcached Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高
2.go开源groupcache项目——关于protobuf
badman250的专栏
07-24 3万+
2.go开源groupcache项目——关于protobuf protobuf是Google公司开发出来,把某种数据结构的信息，以某种格式保存起来。主要用于数据存储、传输协议格式等场合。和XML 差不多 Google公司放着XML不用，非要另起炉灶，重新造轮子。一个根本的原因是XML性能不够好。另一个是代码 生成机制, 除了性能好，代码生成机制是主要吸引人的地方。 可以把proto文件看成是
一致性 Hash 原理及 GroupCache 源码分析，稳进大厂
m0_65441360的博客
12-23 299
![一致性 Hash 原理及 GroupCache 源码分 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》 【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享 析](https://img-blog.csdnimg.cn/img_convert/59af351626023eb2d1d5b6863617ab62.png) 对于该有序 Hash 环，环中的每个节点对应于一台缓存 Server，同时每个节点也包含一个整数值。各节点按照
一致性 Hash 原理及 GroupCache 源码分析
weixin_50205273的博客
02-21 203
一致性 Hash 常用于缓解分布式缓存系统扩缩容节点时造成的缓存大量失效的问题。一致性 Hash 与其说是一种 Hash 算法，其实更像是一种负载均衡策略。 GroupCache 是 golang 官方提供的一个分布式缓存库，其中包含了一个简单的一致性 Hash 的实现。其代码在 github.com/golang/groupcache/consistenthash 。本文将会基于 GroupCache 的一致性 Hash 实现，深入剖析一致性 Hash 的原理。 本文会着重探讨以下几点内容： 传统的
groupcache
qq_30505673的博客
12-27 459
https://github.com/golang/groupcache 目标是在很多场景下替换memcached。 memcached Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon...
go缓存是用redis还是groupcache?
leijmdas的专栏
05-04 331
1. **成熟和广泛使用**：Redis是一个非常成熟且广泛使用的内存数据结构存储系统，它通常用作数据库、缓存和消息传递系统。2. **简单易用**：Groupcache的设计目标是简单易用，特别是对于Go开发者来说，它提供了简洁的API。1. **Go语言原生**：Groupcache是专为Go语言设计的，它是一个缓存和缓存填充系统，用于Go程序。2. **丰富的数据类型**：支持多种类型的数据结构，如字符串、哈希、列表、集合、有序集合等。5. **自动缓存失效**：支持基于版本号的自动缓存失效机制。
深入解析groupcache：分布式缓存和缓存填充库的源码阅读指南
这个文件名称可能指向了包含 groupcache 源码阅读材料、代码示例、分析等的主压缩文件。它可能是进行 groupcache 源码研究和学习的重要资源。 在深入源码阅读时，一个开发者将需要关注 groupcache 的核心组件，比如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值