Buffer cache的运行原理

最新推荐文章于 2025-12-04 14:41:53 发布
转载 最新推荐文章于 2025-12-04 14:41:53 发布 · 169 阅读 · 0
文章标签：

#数据库

本文通过一个具体的SQL查询案例，详细解析了数据库查询的过程，包括如何使用hash函数定位数据块、如何进行缓存查找以及必要的I/O操作等步骤。
以下例子来做说明
    select c2 from t1 where c1='A';
    假设要找的数据块是[10.120]
1、把该数据块的地址和数据块类型(data of index)作为传入参数，传给hash函数，得到hash value，假设是3.
2、到3号buffer chain上找该数据块是否存在。
3、如果不存在，找一个可用的buffer
4、发出IO调用，从数据文件里拷贝该数据块到第三步找到的buffer。
5、把该buffer的header玻璃出来，并挂载到3号chain上。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29952014/viewspace-2120352/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29952014/viewspace-2120352/

cs1428907579
关注
图解 Database Buffer Cache 内部原理（一）
Ruishine的博客
02-09 1553
参考：书籍《Oracle 内核技术揭密》 Buffer Cache 是 Oracle 中最重要的内存池之一，本文将对其进行深入讲解。 若想很好得理解本文，需要对 Oracle 体系结构中的内存结构有基本的了解。如果还不知道Buffer Cache的作用、SGA各个部分的基础知识，可先行阅读文章《Oracle 体系结构详解》。 在正式介绍 Buffer Cache 内容前，先介绍两个名词，按照 IT 界的惯常叫法，对于一个块，在磁盘中叫 Block（块）；在内存中通常称为 Buffer 。本文将沿用这个习惯叫
第七讲--buffer cache内存组织结构剖析
chengonghao的博客
03-21 1215
内存组织结构的核心就是链（链式存储结构，而且是双向链表，可向前向后走），链上挂着内存块。找内存块的时候小确定内存块在哪个链上，然后遍历链。根据内存大小不同，oracle自动分配链的大小。 Buffer cache里面有多种链： 1.      CBC：cache bufferchain: Buffer cache提前建了一些“空”链。Oracle接收到一条select语句，oracle经过
Buffer Cache原理
09-30 201
原理：              当一个进程需要访问数据时，首先需要确定数据在内存中是否存在，如果数据在Buffer中存在，则需要根据数据的状态来判断是否可以直接访问还是需要在构造一致性读。如果数据在Buffer中不存在，则需要在Buffer cache中寻找足够的空间来装载需要的数据 ，如果buffer cache中找不到足够的内存空间，则需要触发DBWR去写出脏数据，释放Bufferr空间。
Buffer Cache 原理
weixin_30918415的博客
06-09 141
在将数据块读入到SGA中,他们的缓冲区被放置在悬挂散列存储桶的链表中(散列链)，这种内存结构由大量 子cache buffers chains锁存器(也称为散列锁存器或CBC锁存器)保护。 Buffer Cache概述 Buffer Cache是SGA的一部分，Oracle利用Buffer Cache来管理data block，Buffer Cache的最终目的就是尽可能的减少...
buffer cache的原理:
03-11 160
buffer cache的原理: 这个原理至关重要. 当一个Server进程需要读取数据到buffer cache中时: 1).首先要判断该数据是否存在于buffer中,如果存在,且可用.则获取数据,再根据LRU算...
page cache和buffer cache之间的关系以及验证
tugouxp的专栏
07-25 2150
Linux系统存在两种缓存机制，分别是Page Cache和Buffer Cache, 其中Page Cache缓存文件的页以优化文件IO。Buffer Cache缓存块设备的块以优化块设备IO。
精选资源
Oracle 中 Buffer Cache 的研究.pdf
10-09
Buffer Cache的内存结构位于Oracle数据库体系结构的核心，其大小和速度直接影响数据库运行速度，是决定数据库性能的主要因素。Oracle内存主要分为系统全局区(SGA)和程序全局区(PGA)，其中SGA又包含数据缓冲区(Data ...
操作系统课程作业-队列管理、进程管理、内存管理、bufferCache、系统文件、内存管理.zip
11-09
在本次作业中，我们可能需要了解buffer cache的工作原理和实现方法，以及如何通过buffer cache来提高系统文件的访问速度。 系统文件管理是操作系统中负责文件创建、删除、读写等操作的部分，它保证了文件系统的高效...
基础篇：怎么理解内存中的Buffer和Cache？
echohuangshihuxue的博客
08-28 1257
上一节，我们梳理了 Linux 内存管理的基本原理，并学会了用 free 和 top 等工具，来查看系统和进程的内存使用情况。内存和 CPU 的关系非常紧密，而内存管理本身也是很复杂的机制，所以感觉知识很硬核、很难啃，都是正常的。但还是那句话，初学时不用非得理解所有内容，继续往后学，多理解相关的概念并配合一定的实践之后，再回头复习往往会容易不少。当然，基本功不容放弃。显然，这个界面包含了物理内存Mem和交换分区Swap的具体使用情况，比如总内存、已用内存、缓存、可用内存等。
深入解析Oracle 10g Buffer Cache内存机制
尤其是在面对高并发 OLTP 场景时，深入掌握 cache buffer chain latch 的争用原理、合理配置相关参数、优化 SQL 访问模式，都是保障系统稳定高效运行的关键举措。随着后续版本的发展，虽然 Oracle 引入了 Buffer ...
buffer cache深度分析之内部管理机制
haiross的专栏
10-29 944
3.buffer cache的内部管理机制 3.1 在buffer cache中获取所需要的数据块的过程     当前台进程发出SELECT或者其他DML语句时，oracle根据SQL语句的执行计划所找到的数据块，会构造一个名为数据块描述（buffer descriptor）的内存结构。该buffer descriptor位于session的PGA中，所包含的内容主要是数据块所在的物理地址、数
Buffer Cache内部原理-HASH链表
zl
08-14 453
1. Buffercache的工作原理-1 文章目录1. Buffercache的工作原理-11.1 HASH链表1.1.1 hash链表与逻辑读1.1.2 Cache Buffers Chain Latch和Buffer Pin锁1.1.3 Cache Buffers Chain Latch的竞争 1.1 HASH链表   Buffercache作为磁盘数据块的缓存在Oracle的所有池中是最大的。在生产环境中往往几十G甚至上百G。为了更好的管理Buffercache准确的找到数据文件需要的数据块或者查看
buffer cache实验1-内存结构图解
还不算晕的专栏
02-17 3783
1.为什么要使用buffer cache？？？ buffer cache就是一块含有许多数据块的内存区域，这些数据块主要都是数据文件里的数据块内容的拷贝。 从buffer cache中读取一个数据块一般需要100ns左右，从一般的存储硬盘中读取一个数据块需要10ms；所以大概算一下，从内存中读取数据块比从硬盘中快近十万倍。 故oracle在读取数据块时，先在buffer cache中查找，如
简单理解一下 cache 和 buffer
数据库
04-15 169
在 Oracle 和 MySQL 学习过程中、经常遇到这两个概念 今天特意查了一下、理解上比较简单、记录在此、以备忘记 ㈠ cache cache, 是用来加速读取的一种方法。目的是加速读取 物理上，有cpu管理的L1 cache, L2 cache 和 memory里的cache 对于cache的访问， 分为cache hit or cache miss 通常cache越大， cach...
MySQL数据库的数据文件保存在哪？MySQL数据存在哪里
2509_94083514的博客
11-30 779
在安装好MySQL数据库使用一段时间后，会产生许多的数据库和数据。那这些数据库的数据文件存放在本地文件夹的什么位置呢一、默认位置MySQL创建的数据库实际上存储在文件系统的一个特定目录中，该目录通常为MySQL的数据目录。这个目录的默认位置依据操作系统和MySQL的安装方式不同而有所差异。、这个目录通常位于，它可能位于是个隐藏文件夹）**其中“X.X”是MySQL的版本号。目录（每个数据库都有一个与其同名的文件夹，而这个文件夹中包含了该数据库的所有表的文件，而其中的文件代表了数据库中的表。
【免费云平台部署指南】按场景选型+全维度对比（附直达地址）
分享技术干货，聚焦AI前沿科技
12-03 814
免费云平台已能覆盖从静态网站到AI模型部署的大部分场景，核心是根据项目类型（静态/后端/AI）、访问地区（国内/国外）和功能需求（数据库/容器/GPU）选择适配平台。新手建议从简单场景入手（如GitHub Pages部署博客、Hugging Face Spaces部署AI Demo），熟悉后再尝试全栈或容器化部署。
redis基本类型 5种基本类型
yeshihouhou的博客
11-30 265
List的另一个应用就是消息队列，可以利用List的 PUSH 操作，将任务存放在List中，然后工作线程再用 POP 操作将任务取出进行执行。我们在谈基础数据结构时，讨论的是存储值的数据类型，主要包括常见的5种数据类型，分别是：String、List、Set、Zset、Hash。Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。
向量数据库原理
最新发布
qq_38895905的博客
12-04 155
day22 了解向量数据库原理（相似度检索）
我们来学mysql -- undo log系列归档
一起学Coding
12-01 181
undo log系列归档
buffer 与cache区别
08-10
<think>嗯，用户这次问的是Linux内存管理中buffer和cache的区别，这是个经典问题。从引用内容看，用户已经查阅了一些资料，但可能对概念仍有混淆。需要把专业术语转化成容易理解的语言。 用户上次询问的是Linux单用户模式，这次突然转向内存管理，可能是工作中遇到性能问题。考虑到ta能引用技术文档，应该是有一定Linux基础的系统管理员或开发人员。 核心要讲清楚三点：一是数据流向（磁盘←→内存←→应用），二是读写场景差异，三是实际性能影响。引用[3]的解释最准确：Buffer是磁盘块的缓存，Cache是文件内容的缓存。这个区分很关键。 特别要注意引用[5]提到的细节：Buffer其实也用于读磁盘，Cache也用于写文件。这点容易让人困惑，需要举例说明。比如用dd命令直接写磁盘块会经过Buffer，而用vim修改文件则通过Cache。 用户可能真正想知道的是：服务器内存被大量占用时，该优先清理Buffer还是Cache？这需要补充说明内核自动回收机制，但当前问题没问就不展开。 数学公式方面，只需用$...$标注简单符号，比如内存大小$S_{buffer}$。复杂公式反而不利于理解这个主题。最后要生成相关问题帮用户深化学习，比如如何手动释放Cache。</think>在 Linux 内存管理中，**Buffer** 和 **Cache** 都是内存的临时存储区域，用于提升 I/O 性能，但核心区别在于**数据来源和用途**： --- ### 一、核心区别总结 | **特性** | **Buffer (缓冲区)** | **Cache (缓存)** | |----------------|----------------------------------------|--------------------------------------| | **数据来源** | **原始磁盘块**（直接操作磁盘扇区） | **文件内容**（通过文件系统读取/写入） | | **主要用途** | 协调磁盘与内存的**读写速度差异** | 减少对**慢速存储设备（如磁盘）的重复访问** | | **典型场景** | - 合并多次小写入为单次大写入<br>- 预读磁盘数据 | - 缓存频繁访问的文件内容<br>- 加速文件读写 | | **数据粒度** | 磁盘块（通常 4KB） | 文件页（通常 4KB） | | **回收优先级** | 内核优先释放 | 内核尽量保留（因重复利用率高） | --- ### 二、技术细节详解 #### 1. **Buffer：磁盘块的临时中转站** - **作用原理**： 当应用**直接读写磁盘块**（如 `dd` 命令操作裸设备）时，数据会暂存于 Buffer。 例如：将 100 个 1KB 的小写操作合并为 1 次 100KB 的大写操作，减少磁盘寻道时间[^3]。 - **数学表示**： 设磁盘写入延迟为 $t_d$，内存操作延迟为 $t_m$（$t_d \gg t_m$），通过 Buffer 合并 $n$ 次写操作，总耗时从 $n \cdot t_d$ 降至 $t_d + n \cdot t_m$。 #### 2. **Cache：文件内容的加速层** - **作用原理**： 当应用通过**文件系统**读写文件时（如 `cat file.txt`），文件内容被缓存到 Cache。 例如：首次读取文件需访问磁盘，后续读取直接从 Cache 获取，速度提升 100 倍以上[^3]。 - **数据复用**： 若文件被多次访问，Cache 命中率 $H$ 越高，平均访问时间 $T_{avg}$ 越低： $$T_{avg} = H \cdot t_m + (1-H) \cdot (t_m + t_d)$$ --- ### 三、实际场景对比 | **操作** | **涉及组件** | **原因** | |------------------------|--------------|--------------------------------------------------------------------------| | `dd if=/dev/sda1 of=file` | **Buffer** | 直接读写磁盘块，需缓冲数据以匹配磁盘物理特性 | | `vim file.txt` | **Cache** | 通过文件系统修改文件，内容先写入 Cache（延迟写回磁盘） | | `cp largefile /tmp` | **Cache** | 复制文件时，源文件内容被缓存到 Cache，加速后续读取 | | 数据库裸盘操作 | **Buffer** | 绕过文件系统直接操作磁盘，依赖 Buffer 优化 I/O | --- ### 四、性能监控命令 ```bash # 查看 Buffer/Cache 占用 $ free -h total used free shared buff/cache available Mem: 16G 5.1G 1.2G 320M 9.7G 10G # 详细内存统计 $ cat /proc/meminfo Buffers: 1024 kB # Buffer 大小 Cached: 8192 kB # Cache 大小 ``` --- ### 五、关键注意事项 1. **内存回收策略**： - 当应用需要内存时，内核**优先释放 Buffer**（因其数据可直写回磁盘） - **Cache 释放较谨慎**（可能影响正在运行的程序性能）[^5]。 2. **读写混合场景**： Buffer 和 Cache 可能协同工作，例如写文件时： `应用 → Page Cache（Cache） → Buffer → 磁盘`[^3][^5]。 3. **性能瓶颈诊断**： - Buffer 使用率高 → 磁盘写压力大（检查磁盘 I/O） - Cache 命中率低 → 文件重复访问率低（优化访问模式或增加内存）[^2][^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值