buffer cache理解（2）

最新推荐文章于 2023-10-08 23:30:00 发布
最新推荐文章于 2023-10-08 23:30:00 发布
阅读量849 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： oracle 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/flexes/article/details/9322643
本文详细介绍了数据库系统中BufferCache的内存组织结构及其工作原理。包括CBC链如何通过地址连接缓冲区，LRU机制用于缓存管理，以及脏页如何被记录在检查点队列中。还解释了在查询过程中如何定位数据块并触发物理I/O。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

buffer cache 内存组织结构 存在多种链（左边是链  右边是buffer（大小相同））

链（chain）

CBC ：cache buffer chain 以地址的方式将各种buffer连接起来

根据block地址找block的时候，需要使用到CBC chain


怎么实现链的：在每个块上面写上不同地址

查询一个sql的时候，
先查找这条数据存在具体的哪一个块上面（dbf文件），
由此判断存在buffercache的那一条链上面。
然后遍历。如果buffer中没有响应的内存块，则发生物理ＩＯ
一个数据块的头部包含了地址和类型
发生物理IO的时候
1、把块的头部（地址、类型）挂载到buffercache的链上
2、并且在链上写一个地址指向buffercache的具体的内存块地址


LRU：最近最少使用（需要将磁盘的block调入内存的时候）： 找可用块
buffer的状态
free
clean
dirty


LRUW：dbwr写的时候。 dirty最近最少


CBC:根据CBC查找buffer

检查点队列 ：1、dirty块 2、按照块第一次dirty的时间点

如果update一个语句
修改buffer后 ，buffer变成dirty
最后会被挂载到 LRUW和检查点队列

非clean块挂载到LRU




Linux DMA、Page Cache、Buffer Cache 和零拷贝
私房菜
12-24 2624
磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存 10 倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接 I/O、异步 I/O 等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区，可以有效地减少磁盘的访问次数。这次，我们就以「文件传输」作为切入点，来分析 I/O 工作方式，以及如何优化传输文件的性能。
基础篇：怎么理解内存中的Buffer和Cache？
最新发布
echohuangshihuxue的博客
08-28 1130
上一节，我们梳理了 Linux 内存管理的基本原理，并学会了用 free 和 top 等工具，来查看系统和进程的内存使用情况。内存和 CPU 的关系非常紧密，而内存管理本身也是很复杂的机制，所以感觉知识很硬核、很难啃，都是正常的。但还是那句话，初学时不用非得理解所有内容，继续往后学，多理解相关的概念并配合一定的实践之后，再回头复习往往会容易不少。当然，基本功不容放弃。显然，这个界面包含了物理内存Mem和交换分区Swap的具体使用情况，比如总内存、已用内存、缓存、可用内存等。
buffer cache理解（1）
FLEXES的ORACLE之路
07-14 816
数据库可以存储数据的同时检索和修改数据。 数据文件被oracle分成大小相同的块：IO的最小单位 show parameter block NAME                                 TYPE        VALUE ------------------------------------ ----------- --------------------
深入理解ES 第三章-ES存储刷盘机制
hzh727172424的博客
07-10 1839
一个segment是一个完备的lucene倒排索引，而倒排索引是通过词典 (Term Dictionary)到文档列表(Postings List)的映射关系，快速做查询的。由于词典的size会很大，全部装载到heap里不现实，因此Lucene为词典做了一层前缀索引(Term Index)，这个索引在Lucene4.0以后采用的数据结构是FST (Finite State Transducer)。
Elasticsearch 内核原理相关
JAVA拾贝
12-16 8026
Elasticsearch实战 欢迎关注公众号《小马JAVA》
Elasticsearch 查询优化
lixinkuan的博客
10-08 967
正常情况下，单个查询会扫描所有分片，容易遇到长尾效应，且大量节点在空转，可利用ES路由能力，大幅提高查询吞吐、降低长尾。通过写入时支持指定routing ，ES 会计算 target_shard_id = hash(routing) 将写入数据路由到指定分片上，这样在查询时，也可以通过指定routing，快速定位到目前数据所在的分片，查询的效率能够提升一个数量级。通过这种方式，我们可以将一个超大的聚合分析需求，拆分成流式的聚合查询小任务，通过不断迭代，通过较低的内存，也能跑完海量数据的聚合分析任务。
服务器buffer/cache 的产生原因和释放buffer/cache
杜海的博客
07-21 4990
Pagecache主要用来作为文件系统上的文件数据的缓存来用，尤其是针对当进程对文件有read／write操作的时候。如果你仔细想想的话，作为可以映射文件到内存的系统调用mmap是不是很自然的也应该用到pagecache？在当前的系统实现里，pagecache也被作为其它文件类型的缓存设备来用，所以事实上pagecache也负责了大部分的块设备文件的缓存工作。...
buffer cache深度分析.zip
10-29
2. **缓存大小与性能**：合理设置Buffer Cache的大小是优化数据库性能的关键。过小可能导致频繁的磁盘I/O，过大则可能消耗过多内存，影响其他服务。Java开发者需要根据应用的访问模式和服务器资源来调整缓冲区大小。...
Linux内存中Swap和Buffer Cache机制
03-04
Linux内存管理是操作系统的核心组成部分，尤其在服务器环境中，理解Swap和Buffer Cache机制至关重要。Swap空间是Linux实现虚拟内存的关键，它允许系统将物理内存中暂时不用的数据存储到硬盘上，以此扩展内存容量。当...
深入Buffer Cache 原理
12-28
深入理解Buffer Cache的工作原理对于优化Oracle数据库性能至关重要。通过合理管理和配置Buffer Cache中的各个组成部分，不仅可以减少磁盘I/O操作，还能有效避免热点问题，提高整体系统响应速度。此外，对于常见等待...
es堆内存排查
weixin_42414008的博客
07-15 1533
那么，ES的heap是如何被瓜分掉的? 说几个我知道的内存消耗大户并分别做解读: 1. segment memory 2. filter cache 3. field data cache 4. bulk queue 5. indexing buffer 6. state buffer 7. 超大搜索聚合结果集的fetch Segment Memory Segment不是file吗？segment memory又是什么？前面提到过，一个segment是一个完备的lucene倒排索引，而倒排索引是通过词典
Oracle -----BUFFER CACHE---- 常用查询
ludengfu的博客
06-08 686
--查看buffer cache 命中率 select 1 - (sum(decode(name, 'physical reads', value, 0)) / (sum(decode(name, 'db block gets', value, 0)) + (sum(decode(name, 'consistent gets', value, 0))))) "Buffer Hit Ratio" from v$sysstat; select name,
高速缓存区（buffer cache）
事后诸葛亮的程序人生（微信：zq9017197）
09-10 3584
1、高速缓存区结构 oracle为了将物理I/O最小化，把最近使用过的块数据保管在内存的一定区域。这部分内存区域就是高速缓存区。高速缓存区与共享池、重做缓存区成为SGA的最重要的内存区域。利用下面的命令可了解当前实例的高速缓存区大小。 SQL> show sga Total System Global Area 9620525056 bytes Fixed Size 2215
Linux中Cache内存占用过高解决办法
c123m的专栏
09-22 1万+
在Linux系统中，我们经常用free命令来查看系统内存的使用状态。在一个RHEL6的系统上，free命令的显示内容大概是这样一个状态： 这里的默认显示单位是kb，我的服务器是128G内存，所以数字显得比较大。这个命令几乎是每一个使用过Linux的人必会的命令，但越是这样的命令，似乎真正明白的人越少（我是说比例越少）。一般情况下，对此命令输出的理解可以分这几个层次： 不了解
Buffer Cache 原理
落落的专栏 专注SQL调优 性能调优
11-02 1万+
<br />这篇文章 是我给team做内部培训用的，现在拿出来share一下                    <br /> Buffer Cache 原理<br />                                                                <br />我们在监控等待事件，查看AWR，ASH报表的时候经常会看到latch: cache buffers chains，有可能还会看到latch: cache buffers lru chain这些等待事件
Java - 【缓存行】CacheLine
⚡
10-13 972
缓存行（Cache Line） CPU三级缓存 CPU直接操作内部寄存器中的数据速度比直接操作内存中的数据快百倍，为了减少这种差距，出现了缓存（Cache），现在缓存一般被封装进入CPU，分为三级缓存 L1（1ns） L2（3ns） L3（15ns） x86架构64位CPU，内存缓存行大小64B（Talk is cheap, show me the code），如何在使用Java程序进行验证？ 复习：CountDownLatch与Semaphore import java.util.concur
ES 内存深度解析
weixin_30861797的博客
10-12 342
注： 本文主要针对ES 2.x。 “该给ES分配多少内存？” “JVM参数如何优化?“ “为何我的Heap占用这么高？” “为何经常有某个field的数据量超出内存限制的异常？“ “为何感觉上没多少数据，也会经常Out Of Memory？” 以上问题，显然没有一个统一的数学公式能够给出答案。 和数据库类似，ES对于内存的消耗，和很多因素相关，诸如数据总量、mappin...
解决linux buffer/cache 消耗内存过高引发的问题
热门推荐
kevin的博客
10-15 5万+
工作中接到DBA报障某台服务器 跑一些大的数据，服务器就无法远程连接，报错，抓过日志叫DELL工程师检测也没问题，系统也重装过， 现在些一些较大的数据就会报如 图错误，由于服务器远在异地城市IDC机房，ssh也无法登录，于是使用iDRAC 远程管理卡连接到该台机器，通过控制台连接到服务器，看到如下图报错： 1、内存占用量：dd过程内核会用大量内存作为磁盘数据的缓存，由于写入8.5T；
线程安全的可控制最大容量且带有过期时间的本地缓存
qq_32498051的博客
09-22 372
线程安全的可控制最大容量且带有过期时间的本地缓存 最近在优化一个接口的时候打算使用一个key-value结构的本地缓存。 需要实现的功能非常简单: 1、可以控制本地缓存的最大对象数量。 2、线程安全，防止发生OOM。 3、同时支持设置单个对象的过期时间。 面对这个需求，选择很多，有很多框架都做的非常好，但大多数框架对我来说都太重量级了，我希望一个简单高效的实现，所以我开发了一个简单的小工具，在这里可以分享下实现思路和开发当中遇到的问题以及解决办法。 首先是key-value的结构，我底层封装了一个Ma
Oracle数据库优化：深入理解Buffer Cache
"Oracle数据库性能调优的一个关键领域是Buffer Cache，它是...通过理解Buffer Cache的工作原理，监控其性能指标，并适时调整相关参数，可以有效地优化Oracle数据库的性能，减少不必要的磁盘I/O，提升系统响应速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值