Cache 工作原理,Cache 一致性,你想知道的都在这里

一文读懂Cache一致性原理 本文介绍了为什么需要维护cache一致性、一致性协议的本质和类别,以及如何设计一致性协议。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:zhuanlan.zhihu.com/p/386919471

2e81b3f6c4aca8af88cea1ca6295e7a5.png


可以随便到网上查一查,各大互联网公司笔试面试特别喜欢考一道算法题,即 LRU缓存机制 ,又顺手查了一下LRU缓存机制 最近有哪些企业喜欢考察,超级大热门!

eac885351e10aa1c552b3209c38b493d.png

今天给大家分享一篇关于 Cache 的硬核的技术文,基本上关于Cache的所有知识点都可以在这篇文章里看到。

关于 Cache 这方面内容图比较多,不想自己画了,所以图都来自《Computer Architecture : A Quantitative Approach》。

这是一本体系架构方面的神书,推荐大家看一下。

本文主要内容如下,基本涉及了Cache的概念,工作原理,以及保持一致性的入门内容。

fbd5c7dfca1f535cbaaecee9debb435a.png

1、为什么需要 Cache

1.1 为什么需要 Cache

我们首先从一张图来开始讲为什么需要 Cache.

7e29420de869e1427b9b750b4d5981ff.png

上图是 CPU 性能和 Memory 存储器访问性能的发展。

我们可以看到,随着工艺和设计的演进,CPU 计算性能其实发生了翻天覆地的变化,但是DRAM存储性能的发展没有那么快。

所以造成了一个问题,存储限制了计算的发展。

容量与速度不可兼得。

如何解决这个问题呢?可以从计算访问数据的规律入手 。

我们随便贴段代码:

for (j = 0; j < 100; j = j + 1)
    for( i = 0; i < 5000; i = i + 1)
        x[i][j] = 2 * x[i][j];

可以看到,由于大量循环的存在,我们访问的数据其实在内存中的位置是相近的。

换句专业点的话说,我们访问的数据有局部性。

我们只需要将这些数据放入一个小而快的存储中,这样就可以快速访问相关数据了。

总结起来,Cache是为了给CPU提供高速存储访问,利用数据局部性而设计的小存储单元。

1.2 实际系统中的 Cache

我们展示一下实际系统中的 Cache 。

d395c02c7424e9188900b19d9ffd09be.png

如上图所示,整个系统的存储架构包括了 CPU 的寄存器,L1/L2/L3 CACHE,DRAM 和硬盘。

数据访问时先找寄存器,寄存器里没有找 L1 Cache, L1 Cache 里没有找 L2 Cache 依次类推,最后找到硬盘中。

同时,我们可以看到,速度与存储容量的折衷关系。容量越小,访问速度越快!

其中,一个概念需要搞清楚。

2738c493a13c8372699c763bfd9fa926.png

CPU 和 Cache 是 word 传输的,而 Cache 到主存是以块传输的,一块大约 64Byte 。

现有 SOC 中的 Cache 一般组成如下。

1.3 Cache 的分类

Cache按照不同标准分类可以分为若干类。

  • 按照数据类型划分:I-Cache与D-Cache。其中I-Cache负责放置指令,D-Cache负责方式数据。两者最大的不同是D-Cache里的数据可以写回,I-Cache是只读的。

  • 按照大小划分:分为small Cache和large Cache。没路组(后文组相连介绍)<4KB叫small Cache, 多用于L1 Cache, 大于4KB叫large Cache。多用于L2及其他Cache.

  • 按照位置划分:Inner Cache和Outer Cache。一般独属于CPU微架构的叫Inner Cache, 例如上图的L1 L2 CACHE。不属于CPU微架构的叫outer Cache.

  • 按照数据关系划分:Inclusive/exclusive Cache: 下级Cache包含上级的数据叫inclusive Cache。不包含叫exclusive Cache。举个例子,L3 Cache里有L2 Cache的数据,则L2 Cache叫exclusive Cache。

推荐下自己做的 Spring Boot 的实战项目:

https://github.com/YunaiV/ruoyi-vue-pro

2、Cache的工作原理

要讲清楚 Cache 的工作原理,需要回答 4 个问题:

  • 数据如何放置

  • 数据如何查询

  • 数据如何被替换

  • 如果发生了写操作,Cache如何处理

2.1 数据如何放置

这个问题也好解决。我们举个简单的栗子来说明问题。

假设我们主存中有 32 个块,而我们的 Cache 一共有 8 个 Cache 行( 一个 Cache 行放一行数据)。

假设我们要把主存中的块 12 放到 Cache 里。

那么应该放到 Cache 里什么位置呢?

三种方法:

  • 全相连(Fully associative)。可以放在Cache的任何位置。

  • 直接映射(Direct mapped)。只允许放在Cache的某一行。比如12 mod 8

  • 组相连(set associative)。可以放在Cache的某几行。例如2路组相连,一共有4组,所以可以放在0,1位置中的一个。

可以看到,全相连和直接映射是Cache组相连的两种极端情况。

不同的放置方式主要影响有两点:

1、组相连组数越大,比较电路就越大,但Cache利用率更高,Cache miss发生的概率小。2、组相连数目变小,Cache经常发生替换,但是比较电路比较小。

这也好理解,内存中的块在Cache中可放置的位置多,自然找起来就麻烦。

2.2 如何在Cache中找数据

其实找数据就是一个比对过程,如下图所示。

a862c404c47e012e9bf2d1542e2e4be8.png

我们地址都以 Byte 为单位的。

但主存于Cache之间的数据交换单位都是块(block,现代Cache一般一个block大约64Byte)。所以地址对最后几位是block offset。

由于我们采用了组相连,则还有几个比特代表的是存储到了哪个组。

组内放着若干数据,我们需要比较Tag, 如果组内有Tag出现,则说明我们访问的数据在缓存中,可以开心的使用了。

比如举个 2 路组相连的例子,如下图所示。

84015d8140f9221240db03489a086ff2.png

T表示Tag。直接比较Tag,就能得知是不是命中了。如果命中了,则根据index(组号)将对应的块取出来即可。

如上图所示。用index选出位于组相连的哪个组。然后并行的比较Tag, 判断最后是不是在Cache中。上图是2路组相连,也就是说两组并行比较。

那如果不在缓存中呢?这就涉及到另一个问题。

不在缓存中如何替换 Cache ?

2.3 如何替换Cache中的数据

Cache中的数据如何被替换的?这个就比较简单直接。

56e82791b8dc79a1f1b84d7771098cbc.png
  • 随机替换。如果发生Cache miss里随机替换掉一块。

  • Least recently used. LRU。最近使用的块最后替换。

  • First in, first out (FIFO), 先进先出。

实际上第一个不怎么使用,LRU 和 FIFO 根据实际情况选择即可。

Cache 在什么时候数据会被替换内?也有几种策略。

  • 不在本 Cache 替换。如果Cache miss了,直接转发访问地址到主存,取到的数据不会写到Cache.

  • 在读MISS时替换。如果读的时候Cache里没有该数据,则从主存读取该数据后写入Cache。

  • 在写MISS时替换。如果写的时候Cache里没有该数据,则将本数据调入Cache再写。

2.4 如果发生了写操作怎么办

Cache毕竟是个临时缓存。

如果发生了写操作,会造成Cache和主存中的数据不一致。如何保证写数据操作正确呢?

也有三种策略。

  • 通写:直接把数据写回Cache的同时写回主存。极其影响写速度。

8278dcf7bd633f142d1b0d6bd92ba9ac.png
  • 回写:先把数据写回Cache, 然后当Cache的数据被替换时再写回主存。

cde286eaf11f2c99035bc8a41070d92c.png
  • 通写队列:通写与回写的结合。先写回一个队列,然后慢慢往主存储写。如果多次写同一个数据,直接写这个队列。避免频繁写主存。

推荐下自己做的 Spring Cloud 的实战项目:

https://github.com/YunaiV/onemall

3、Cache一致性

Cache 一致性是 Cache 中遇到的比较坑的一个问题。

什么原因需要 Cache 处理一致性呢?

主要是多核系统中,假如core 0读了主存储的数据,写了数据。core 1也读了主从的数据。这个时候core 1并不知道数据已经被改动了,也就是说,core 1 Cache中的数据过时了,会产生错误。

Cache一致性的保证就是让多核访问不出错。

5a49f1203389db164c5e4ab3e703cb43.png

Cache一致性主要有两种策略。

策略一:基于监听的一致性策略

这种策略是所有Cache均监听各Cache的写操作,如果一个Cache中的数据被写了,有两种处理办法。

写更新协议 :某个Cache发生写了,就索性把所有Cache都给更新了。

写失效协议 :某个Cache发生写了,就把其他Cache中的该数据块置为无效。

策略 1 由于监听起来成本比较大,所以只应用于极简单的系统中。

策略二:基于目录的一致性策略

这种策略是在主存处维护一张表。记录各数据块都被写到了哪些Cache, 从而更新相应的状态。一般来讲这种策略采用的比较多。又分为下面几个常用的策略。

  • SI: 对于一个数据块来讲,有share和invalid两种状态。如果是share状态,直接通知其他Cache, 将对应的块置为无效。

  • MSI:对于一个数据块来讲,有share和invalid,modified三种状态。其中modified状态表表示该数据只属于这个Cache, 被修改过了。当这个数据被逐出Cache时更新主存。这么做的好处是避免了大量的主从写入。同时,如果是invalid时写该数据,就要保证其他所有Cache里该数据的标志位不为M,负责要先写回主存储。

  • MESI:对于一个数据来讲,有4个状态。modified, invalid, shared, exclusive。其中exclusive状态用于标识该数据与其他Cache不依赖。要写的时候直接将该Cache状态改成M即可。

我们着重讲讲 MESI。图中黑线:CPU的访问。红线:总线的访问,其他Cache的访问。

ec8c38a07d472930892822ddcbee5df5.png

当前状态时I状态时,如果发生处理器读操作 prrd。

  • 如果其他Cache里有这份数据,如果其他Cache里是M态,先 把M态写回主存再读。否则直接读。最终状态变为S。

  • 其他Cache里没这个数据,直接变到E状态。

当前状态为S态。

  • 如果发生了处理器读操作,仍然在S态。

  • 如果发生了处理器写操作,则跳转到M状态。

  • 如果其他Cache发生了写操作,跳到I态。

当前状态E态

  • 发生了处理器读操作还是E。

  • 发生了处理器写操作变成M。

  • 如果其他Cache发生了读操作,变到S状态。

当前状态M态

  • 发生了读操作依旧是M态。

  • 发生了写操作依旧是M态。

  • 如果其他Cache发生了读操作,则将数据写回主存储,变换到S态。

4、总结

Cache 在计算机体系架构中有非常重要的地位,本文讲了 Cache中最主要的内容,具体细节可以再根据某个点深入研究。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

c2c171a34b648d0951dc6246bc585b45.png

已在知识星球更新源码解析如下:

9017de0d91c9cf1a3cdb6e5c346bc62d.png

e0f61d71765477f3ff682875084b3f32.png

b51f4b29f042208967184b2d69165d3e.png

c75d7530c7e65d649de1bcece25e7b01.png

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
异构多核Cache一致性问题和解决方法(一) 最近看了不少说明Cache一致性问题的解决方法的文章,讲是讲到了,但是讲得都不是很深入,没有结合目前主流大厂的解决方案说明。笔者最近看了斯坦福大学2020年Cache Coherence的课件,非常不错觉得有必要写个专栏记录下CPU+MCU等异构多核的Cache一致性处理方法。 首先申明,本文章默认你已经了解Cache一致性的原理和概念,也大概知道多核的Cache一致性解决有哪两种方法。如果还不知道的,请阅读下面的链接,网上很多文章抄来抄去,写得好的只要看这几篇就够了。 ... 阅读详情

相关推荐

【cache一致性】

这个很少会问。

weixin_60342993的博客 450

Cache(三):cache的常见名词与Cache一致性问题简介

虽然使用cache带来了很大的性能提升,但它也有副作用。最常见的一个问题就是cache一致性问题。本笔记会简单介绍cache一致性问题发生的原因。先来看一个简单的双核心,3级缓存的结构:如上图所示,Core0和Core1有分开的L1指令和数据cache和一个L2缓存。所有Core共享一个L3缓存。

叫好与叫座虽然不是对立面,但想在同一个作品中达到双重效果很难。 4955

《R语言实战》第八章之回归分析图形

回归分析图形 回归分析分为简单回归与复杂回归 1 : 简单线性回归即:模型中只包含一个因变量和一个自变量,有时候也会包含多项式, 这个图形描述了身高与体重的线性关系,这也是一个多项式图形 2:当我们的预测变量(自变量)不止一个时,就属于多元线性回归,而且多元线性回归中也可以包含多项式以及交互项 (1)在进行多远回归分析之前可以先描述变量之间的相关关系 上图为一个散点图矩阵,描述了五个变量之间的相关关系,我们可以通过非主对角线的散点图来查看两个变量之间的关系。 多元线性回归简单地就是OLS回归,通过lm和

Strawberry_Ya的博客 1836

Cache 一致性

Write invalidate提供了实现Cache一致性的简单思想,处理器上会有一套完整的协议,来保证Cache一致性。比较经典的Cache一致性协议当属MESI协议,奔腾处理器有使用它,很多其他的处理器都是使用它的变种。 单核处理器Cache中每个Cache line有2个标志:dirty和valid标志,它们很好的描述了Cache和Memory(内存)之间的数据关系(数据是否有效,数据是否被...

zhuisuitong6951的博客 1万+

保姆级教程:RK3588部署yolo目标检测模型

RK3588部署yolo目标检测模型非常详细的保姆级教程

ling913的专栏 5489

基于51单片机语音识别智能台灯设计

智能台灯;语音识别;STC89C52RC单片机

Benso_H的博客 5844

Cache工作原理,Cache一致性,你想知道的都在这里

关注「开源Linux」,选择“设为星标”回复「学习」,有我为您特别筛选的学习资料~可以随便到网上查一查,各大互联网公司笔试面试特别喜欢考一道算法题,即LRU缓存机制,又顺手查了一下LRU...

关注微信公众号【开源Linux】,后台回复『10T』,领取10T学习资源大放送,涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频 2662

Android Studio打包全攻略---从入门到精通

初出茅庐 手动打包怎么手动打包项目写完了,现在需要把应用上传到市场,问题出现—怎么把代码变成.apk(Android的可安装文件)。 1. 创建签名文件 2. 填写好签名参数 3. 生成APK 注意:签名的密码和密匙的密码注意保管,不要忘了,签名文件别泄漏了,也别搞丢了为什么要打包我最开始就有这个疑问,我们的代码不是点了下运行按钮就直接安装到手机上了吗,我们在在项目Project

我早就想,要这样载着你,翻山越岭 2万+

Cache 工作原理、Cache 一致性,你想知道的都在这里

中…(img-NsavQUSy-1711361352595)]

2401_83703951的博客 1177

STM32单片机语音提示盲人拐杖整点报时夜间警示超声波测距

STM32单片机语音提示盲人拐杖整点报时夜间警示超声波测距 关键词:语音提示盲人拐杖 整点报时 超声波测距拐杖

LS840233684的博客 2048

机器学习 线性回归 头歌实训

第1关:简单线性回归与多元线性回归 第2关:线性回归的正规方程解 第3关:衡量线性回归的性能指标 第4关:scikit-learn线性回归实践 - 波斯顿房价预测

weixin_57270536的博客 1万+

Cache 工作原理、Cache 一致性,你想知道的都在这里,java面试优势

同时,如果是invalid时写该数据,就要保证其他所有Cache里该数据的标志位不为M,负责要先写回主存储。另外,如果您正在学习Spring Cloud,推荐一个连载多年还在继续更新的免费教程:https://blog.didispace.com/spring-cloud-learning/举个例子,L3 Cache里有L2 Cache的数据,则L2 Cache叫exclusive Cache。MESI:对于一个数据来讲,有4个状态。两者最大的不同是D-Cache里的数据可以写回,I-Cache是只读的。

2401_84412011的博客 1021

Playwright实战:打造绕过全维度前端反爬的无头浏览器爬虫(2026实战版)

Playwright绕过前端反爬的核心是模拟真实:真实的设备指纹、真实的行为轨迹、真实的网络请求;2025年前端反爬的核心检测维度是设备指纹+行为轨迹+网络请求,三者缺一不可;实战中需重点关注WebGL/Canvas指纹模拟、行为随机性、请求头完整性,这是绕过反爬的关键;性能优化需以“不触发反爬”为前提,优先选择浏览器复用、资源拦截,而非无限制并发。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2097
上一篇: MyBatis-plus 从入门到入土
下一篇: 顶级程序员常用的 14 个开源框架,YYDS!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值