CPU缓存和内存屏障

最新推荐文章于 2024-04-10 08:09:35 发布
转载 最新推荐文章于 2024-04-10 08:09:35 发布 · 225 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/coding-diary/p/11153774.html
文章标签：

#大数据 #runtime

CPU性能优化手段 - 缓存

为了提高程序的运行性能, 现代CPU在很多方面对程序进行了优化
例如: CPU高速缓存, 尽可能的避免处理器访问主内存的时间开销, 处理器大多会利用缓存以提高性能

img

多级缓存

L1 Cache (一级缓存)是CPU第一层高速缓存, 分为数据缓存和指令缓存, 一般服务器CPU的L1缓存的容量通常在32-4096kb
L2 Cache (二级缓存) 由于L1高速缓存的容量限制, 为了再次提高CPU的运算速度, 在CPU外部放置一高速缓存存储器, 即二级缓存
L3 Cache(三级缓存)现在都是内置的, 而它的实际作用既是, L3缓存的应用可以进一步降低内存延迟, 同时提升大数据量计算时处理器的性能. 具有较大L3缓存的处理器更有效的文件系统缓存行为及较短消息和处理器队列长度. 一般是多核共享一个L3缓存

CPU在读取数据时, 先在L1中寻找, 再从L2中寻找, 再从L3中寻找, 然后是内存, 最后是外存储器

缓存同步协议

多CPU读取同样的数据进行缓存, 进行不同运算之后, 最终写入主内存以那个CPU为准? 在这种高速缓存回写的场景下, 有一个缓存一致性协议, 多数CPU厂商对它进行了实现.
即MESI协议, 它规定每条缓存有个状态位, 同时定义了下面四种状态:

  • 修改态(Modified) 此cache行已被修改过(脏行), 内容已不同于主内存, 为此cache专有
  • 专有态(Exclusive) 此cache行同于主存, 但它不出现于其他cache中
  • 共享态(Shared) 此cache行同于主存, 但也出现于其他cache中
  • 无效态(Invalid) 此cache行无效(空行)

多处理时, 单个CPU对缓存中的数据进行了改动, 需要通知给其他CPU, 也就意味着, CPU处理要控制自己的读写操作, 还要监听其他CPU发出的通知, 从而保证最终一致

CPU性能优化手段 - 运行时指令重排

img

指令重排的场景: 当CPU写缓存时发现缓存区块正被其它CPU占用, 为了提高CPU处理性能, 可能将后面的读缓存命令优先执行.
当然也并非随便重排, 需要遵循as-if-serial语义
as-if-serial语义的意思指: 不管怎么重排序, 程序的执行结果不能被改变
编译器, runtime和处理器都必须遵守as-if-serial语义, 也就是说, 编译器和处理器不会对存在数据依赖关系的操作做重排序

两个问题

  1. CPU高速缓存下有一个问题:
    缓存中的数据与主内存的数据并不是实时同步的, 各CPU间缓存的数据也不是实时同步. 在同一时间点, 各CPU所看到的同一内存地址的数据的值可能是不一致的.

  2. CPU执行指令重排序优化的一个问题:
    虽然遵守了as-if-serial语义, 但仅在单CPU自己执行的情况下能保证结果正确. 多核多线程中, 指令逻辑无法分辨因果关联, 可能出现乱序执行, 导致程序运行结果错误

解决方法 - 内存屏障

处理器提供了两个内存屏障指令(Memory Barrier)用于解决上述两个问题:
写内存屏障(Store Memory Barrier): 在指令后插入Store Barrier, 能让写入缓存中的最新数据更新写入主内存, 让其他线程可见
强制写入主内存, 这种显示调用, CPU就不会因为性能考虑而进行指令重排

读内存屏障(Load Memory Barrier): 在指令前插入Load Barrier, 可以让高速缓存中的数据失效, 强制从新从主内存读取数据
强制读取主内存内容, 让CPU缓存和主内存保持一致, 避免了缓存导致的一致性问题

 

​

转载于:https://www.cnblogs.com/coding-diary/p/11153774.html

baijiyuan9594
关注
CPU高速缓存与内存屏障
疾风先生的博客
01-09 695
1. CPU缓存 cpu高速缓存的由来 在CPU的全部取指令周期中(程序计算),至少需要访问一次存储器(也就是我们所说物理内存上的数据) 通常需要多次访问存储器的取操作数或者保存结果,CPU处理计算的速度明显受限于访问存储器的限制 因此解决方案就是利用局部性原理,在CPU与物理内存之间提供一个容量小并且速度快的存储器,称为高速缓存 高速缓存概述 缓存是分“段”（line）的，一个段对...
Cpu Cache and Memory Barrier（CPU缓存与内存屏障）
Grady
09-09 519
转载：https://www.jianshu.com/p/9ce55861e4ce 4.1 CPU缓存 为了提高程序运行的性能，现代CPU在很多方面对程序进行了优化。使用CPU高速缓存就是其中一种途径。目的就是为了尽可能地避免处理器访问主内存的时间开销。 现代CPU一般有三级缓存，使用cpu-z能清楚地看到。 CPU-Z截取的三级缓存 图一 多级缓存： L1 Cache（一级缓存）是CPU第一层高速缓存，分为数据缓存和指令缓存。一般服务器CPU的L1缓存的容量通常在32-4096KB。（每个核心都有自己的L
说透缓存一致性与内存屏障
JavaShark的博客
07-27 816
我们最熟悉的内存是一种动态随机访问存储器（DynamicRAM,DRAM），存储器中每个存储单元由配对出现的晶体管和电容器构成，每隔一段时间，固定要对DRAM刷新充电一次，否则内部的数据就会消失。而高速缓存是一种静态随机访问存储器（StaticRAM,SRAM），不需要刷新电路就能保存它内部存储的数据，这就是静态的含义，因此SRAM的存储性能非常高！工作速度在纳秒级别，勉强能跟得上CPU的运算速度。但是SRAM的缺点就是集成度低，相同容量的内存可以设计成较小的体积，但是SRAM却需要更大的体积；、...
内存屏障和CPU缓存
wandermonde的博客
01-01 256
1.CPU缓存 为了提高程序运行的性能，现代CPU在多方面对程序进行了优化。例如，利用CPU高速缓存，尽可能避免处理器访问主内存的时间开销，以提高性能。 ...
缓存一致性MESI与内存屏障
跑码场
07-27 2486
计算机的演进就是一部在挖坑和填坑之间反复横跳的发展史。对这一点的理解会随着本文的后续讲述逐渐加深。比如高速缓存Cache很好地解决了CPU与内存的速度矛盾，但是也为计算机系统带来了更高的复杂度。...
内存屏障（cpu内存屏障 与java内存屏障）
zzsaixuexi的博客
01-11 1294
CPU 内存屏障 定义 读写屏障指令 为什么会出现内存屏障 java内存屏障 java内存屏障存在意义 java中内存屏障的主要类型 LoadLoad 屏障 StoreStore 屏障 LoadStore 屏障 StoreLoad 屏障 Synchronized 锁 volatile语义中的内存屏障 final语义中的内存屏障
CPU缓存与内存屏障
worshipme的博客
06-27 345
核心知识点——指令重排序，as-if-serial语义
内存屏障保证缓存一致性，java语音识别技术
2401_84104809的博客
04-10 330
收到失效消息时，放到失效队列中去。为了不让处理器久等失效响应，收到失效消息需要马上回复失效响应。为了不频繁阻塞处理器，不会马上读主存以及设置缓存为invlid，合适的时候再一块处理失效队列。
CPU缓存与内存屏障解析
卧龙小蛋的博客
10-31 744
CPU缓存 CPU缓存是位于CPU与内存之间的临时存储器，它的容量比内存小的多，但是交换速度比内存快得多。高速缓存主要是为了解决CPU运算速度与内存读写速度不匹配的矛盾，因为CPU运算速度比内存快得多，这样会使CPU花费很长时间等待数据或者将数据写入内存，当CPU调用大量数据时，可以先从缓存中调用，从而加快读取速度。 CPU多级缓存 在CPU缓存出现不久，随着系统越来越复杂，高速缓存和主内存之间的...
锁（Lock）、内存屏障（Memory barrier）与 缓存一致性（ Cache coherence）
Jeff_的博客
02-07 9617
在应用层，关于锁的使用大家应该都很熟悉了，作用就是为了保护共享变量不被同时操作而导致无法预测的情况。然而深入到具体实现，锁仅仅只是锁定临界区吗？ 锁的实现其实还必须实现一个语义，也就是内存屏障。内存屏障主要用于防止指令重排而导致的无法预测的情况。代码经过编译器生成的指令并不一定都是按着我们原先的想法来生成的，可能经过优化等情况进行了指令的重排，然而这些重排在执行后的结果应当是一致的。其实及时编译器...
CPU三级缓存和缓存失效
qq_44742816的博客
02-07 602
CPU三级缓存和缓存失效
了解CPU缓存和内存屏障机制
AsapDawn的博客
04-14 543
CPU对于程序性能提升都做了哪些工作呢？
linux 内存屏障,理解内存屏障（一）
weixin_35628777的博客
05-01 412
作者：新浪微博()计算机学习微信公众号(jsj_xx)1 前言内存屏障是搞软件的需要面对的一个涉及硬件cpu的问题，很多人困惑不解。本文是我们对linux内核内存屏障的理解，参考linux内核(4.0版本)的Documentation/memory-barriers.txt。2 内容主要内容如下：2.1 内存访问的的抽象模型2.2 什么是内存屏障2.3 内核中的显式和隐式的内存屏障2.4 cpu间...
缓存失效确实是计算机科学中最难的问题之一
u012516914的专栏
12-29 493
我打算写一篇文章，作为一个练习来帮助我理解当缓存失效时发生了什么。毕竟，理解一件事的最好方法就是试着向别人解释。但请注意，我在这里写的主题超出了我个人的专业领域，所以请注意！问题：两个 CPU 性能波段 这是该帖子中的一张图表，它说明了这个问题。它显示集群内不同虚拟机实例（节点）的 CPU 利用率。所有节点的配置都相同，包括运行相同的应用程序逻辑和接收相同的流量。一个低波段的 CPU 利用率约为 ...
Java基础: CPU缓存行、无效化队列
爱喝咖啡的程序员的博客
06-25 1258
Java基础: CPU缓存行、无效化队列一. 什么是缓存行？二. 什么是CUP的三级缓存？三. CPU核心、缓存行、消息总线、内存是如何交互的呢？四. 多核CPU更新数据时面临的脏数据问题五. 解决多核CPU更新时面临的脏数据问题(MESI) 一. 什么是缓存行？ 答: 缓存行是CPU与内存之间的一块临时数据交换器，用于解决CPU运算速度与内存读写速度不匹配的矛盾。 二. 什么是CUP的三级缓存？ CPU的缓存被分成了三个级别: L1，L2，L3，其中，越接近CPU的缓存容量越小，但运行速度越接近CPU。
cpu cache一致性及内存屏障
KIDGIN7439的专栏
11-18 1362
cpu和内存之间的速度存在着较大的差距，如果cpu直接和内存打交道的话，会因为等待内存处理而造成cpu资源的浪费，因此为了提高性能，现在cpu和内存之间有着多级缓存，常见的为三级缓存，L1，L2，L3，其中L1和L2为每个cpu独有，L3为所有cpu共享。 cache line为cache的最小单位，也是cache和内存数据交换的最小单位，如64字节。当cpu要读取某地址的数据时，首先会去cac...
内存屏障和缓存一致性
最新发布
08-23
<think>嗯，用户想理解内存屏障和缓存一致性在计算机系统中的作用及关系，特别是它们的区别和联系。这个问题涉及计算机体系结构中的并发控制机制，需要从底层硬件行为开始解释。 用户可能正在学习多线程编程或操作系统原理，遇到了内存可见性问题。从ta提问的精确性看，应该有一定技术基础，但可能被这两个相似概念的关系困扰。需要特别注意避免术语堆砌，用缓存一致性协议作为主线来串联解释会更清晰。 首先需要明确核心矛盾：现代多核CPU中，每个核心都有私有缓存，这会导致多个副本同时存在。缓存一致性协议（如MESI）解决的是"数据副本同步"问题，而内存屏障解决的是"指令执行顺序"问题。两者协同工作才能保证正确性。 从引用[4]提供的MESI状态转换表切入很合适，可以说明写操作时如何通过BusUpgr事件通知其他核心失效缓存。但仅靠协议还不够——引用[2]提到的Store Buffer问题正是关键：即使有MESI，写操作放入缓冲区后可能延迟执行，导致其他核心读到旧值。 这里需要强调内存屏障的两种功能（引用[2]）：写屏障强制刷出Store Buffer，读屏障清空Load Buffer。用户特别问到区别，可以这样对比：缓存一致性是"数据同步机制"，内存屏障是"顺序控制指令"。前者是自动的后台协议，后者是程序员/编译器插入的显式命令。 用户可能混淆的点在于：为什么有了MESI还需要屏障？引用[5]的案例正好说明——即使缓存最终会一致，但重排序可能导致中间状态被观察到。屏障就像交通警察，在关键位置维持指令秩序，让MESI能正确工作。 最后用生产者-消费者场景收尾：生产者写数据后插入写屏障，消费者读之前插入读屏障，配合MESI协议就能实现安全通信。这样用户能直观理解二者如何协作。</think>理解内存屏障与缓存一致性是掌握并发编程底层机制的关键。它们共同解决多核处理器中的数据一致性问题，但作用层面不同： --- ### **一、核心区别** | **特性** | **缓存一致性 (Cache Coherence)** | **内存屏障 (Memory Barrier)** | |------------------|---------------------------------------------|---------------------------------------------| | **本质** | **硬件协议** (如MESI) | **软件指令** (CPU指令/编译器提示) | | **目标** | 保证多核缓存中**同一地址数据的一致性** | 控制**内存访问顺序**，防止指令重排 | | **工作方式** | 自动监听总线事件，同步缓存状态 | 显式插入屏障指令，约束读写操作顺序 | | **可见性** | 解决**空间维度**的数据副本同步问题 | 解决**时间维度**的指令执行顺序问题 | --- ### **二、内在联系：协同工作流程** 1. **缓存一致性协议的基础作用** 以MESI协议为例（引用[4]）： - **Modified (M)**：当前核心独占修改权 - **Exclusive (E)**：数据仅存在于当前缓存 - **Shared (S)**：多核共享只读副本 - **Invalid (I)**：缓存行失效 *当核心A修改数据时，通过总线事件（如 `BusUpgr`）使其他核心的缓存行失效（状态→I），强制其下次访问时重新加载*[^4]。 2. **内存屏障的必要性** 即使有MESI协议，仍存在两类问题： - **Store Buffer 延迟**：写操作可能暂存于缓冲区，未立即同步到缓存 *示例*： ```c // 核心A执行 a = 1; // 写入Store Buffer b = 2; // 可能先于a=1提交到缓存 ``` - **指令重排序**：CPU/编译器优化可能打乱内存操作顺序（引用[5]） *后果*：其他核心可能观察到 `b=2` 但 `a=0` 的中间状态[^5]。 **内存屏障的作用**： - **写屏障** (`smp_wmb`)：刷出Store Buffer中的数据，确保**之前的写操作**对其他核心可见[^2] ```c a = 1; smp_wmb(); // 强制a=1写入缓存 b = 2; ``` - **读屏障** (`smp_rmb`)：清空本地Load Buffer，确保**后续读操作**获取最新数据[^2] ```c while (flag == 0); smp_rmb(); // 确保读到a的最新值 value = a; ``` --- ### **三、典型协作场景：生产者-消费者模型** ```c // 生产者（核心A） data = 100; // 1. 生产数据 smp_wmb(); // 2. 写屏障：确保data写入缓存 flag = 1; // 3. 更新标志 // 消费者（核心B） while (!flag); // 4. 等待标志 smp_rmb(); // 5. 读屏障：确保flag更新后读取data print(data); // 6. 正确读取100 ``` **关键点**： - 若无写屏障：步骤3可能先于步骤1提交，消费者读到未初始化的 `data` - 若无读屏障：步骤6可能使用旧缓存中的 `data`（即使 `flag` 已更新）[^2][^5] --- ### **四、总结：二者关系** - **缓存一致性**是底层硬件机制，解决**数据最终一致性**问题 - **内存屏障**是上层控制手段，解决**操作顺序性**问题 - **关系**：内存屏障是缓存一致性协议正确工作的**必要补充**，确保多核间的**操作顺序符合程序逻辑**（引用[3]） > *同步原语（如锁、信号量）通常通过内存屏障实现内存可见性语义*[^3]。 --- ### **相关问题** 1. MESI协议中，当多个核心同时修改同一缓存行会发生什么？ 2. 为什么在无锁编程中（如RCU）需要结合内存屏障使用？ 3. 不同CPU架构（x86 vs ARM）的内存屏障实现有何差异？ 4. 编译器屏障（如 `asm volatile("" ::: "memory"`) 与CPU内存屏障的区别是什么？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值