Mysql 与 磁盘交互的过程

最新推荐文章于 2025-04-22 20:32:40 发布
原创 最新推荐文章于 2025-04-22 20:32:40 发布 · 1.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sql #数据库

MySQL在与操作系统交互时，数据读写都在内存的缓存池中进行，以16KB的页为基本单位。查询时预读相关数据到缓存池，修改则先在内存中处理后刷新到内核缓冲区，内核按策略定期将数据写回磁盘。脏数据的立即或定时刷新，以及以页为单位的IO操作，旨在优化磁盘IO效率。

从之前的Mysql架构可以了解到，Mysql 客户端不是直接和磁盘打交道，我们在客户端输入的sql语句会被发送给服务端，服务端对sql语句进行解析、缓存等操作，然后再交由存储引擎去读写磁盘。这其实是从 C/S 的角度去了解Mysql。

站在OS的角度，Mysql 的数据保存在磁盘，本质还是文件IO，Mysql是如何跟内核（OS）打交道的呢？

          目录

1、Mysql 交互模型（站在OS的角度）

(1) Mysql 从磁盘读数据

(2) Mysql 向磁盘写数据

2、Mysql 交互的基本单位

(1) 交互的基本单位（每次IO的数据量）

(2) 为什么IO交互要以page为基本单位？

1、Mysql 交互模型（站在OS的角度）

核心理念说在最前面，Mysql 对数据所做的所有访问，无论是查询，还是增删改，都是在内存中进行的！

(1) Mysql 从磁盘读数据

早在Mysql 启动的时候，Mysql 就会向内存申请一块空间（下面统称“缓存池”）。

每次查询的时候，会预先从磁盘读取一部分相关数据到缓存池。（至于读取多少，详见“Mysql和磁盘交互的基本单位”）

每次

最低0.47元/天 解锁文章
MySQL核心技术原理之：内存与磁盘管理
AI天才研究院
10-15 390
作者：禅与计算机程序设计艺术 1.背景介绍 由于数据库服务器所占用的资源非常多，因此在性能优化上不仅要考虑硬件的性能，还需要通过提高硬件利用率的方法降低成本。其中一个重要的方面就是如何管理内存和硬盘。 内存是计算机中的重要资源，如果没有足够的内存，则无法运行应用程序。而磁盘存储设备则具有很强的数据容
【字节跳动面试100题精讲】MySQL 索引文件写入磁盘的完整过程
AI天才研究院
09-23 983
MySQL索引是数据库管理系统中用于提高查询效率的重要数据结构。它类似于书籍的目录，可以帮助数据库快速定位和访问数据。在MySQL中，索引文件的写入是一个复杂的过程，涉及内存管理、磁盘I/O操作以及文件系统交互等多个方面。理解索引文件写入磁盘的过程对于优化数据库性能、进行故障排查以及设计高效的数据库应用程序都具有重要意义。stagestage。
mysql原理三：mysql引擎InnoDB内存和磁盘架构
chuixue24的博客
09-15 416
mysql的InnoDB引擎的内存和磁盘架构如下图所示： 内存区域中，有缓存池Buffer Pool，其结构如下图所示： free链表为空闲链表，保存了buffer pool中的空闲的内存空间，一个控制块对应于一个空白块，大小为一个也的大小，默认为16kb。 ...
2.mysql之写磁盘操作
qq_44987522的博客
02-19 540
mysql 是机械磁盘时代的产物，带有浓重节约空间思想，机械磁盘有一个问题：慢！所以数据库设计者在内存和磁盘交互的环节上，下了不少功夫。
db2 如何导出insert语句_图解MySQL | [原理解析] MySQL insert 语句的磁盘写入之旅
weixin_39956009的博客
11-28 488
作者及简介：黄 炎，爱可生首席技术官；王 悦，爱可生研发团队成员，负责数据库管理平台相关项目的开发和故障排查，好奇 MySQL 技术原理及各类数据库实现方案。本文来源：转载自公众号-图解 MySQL*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。一条 insert 语句在写入磁盘的过程中到底涉及了哪些文件？顺序又是如何的？下面我们用两张图和大家一起解析 insert ...
mysql底层实现(三)---访问盘完成请求过程
ai691227的博客
07-11 336
访问盘完成请求过程 1.确定磁盘地址，内存地址： 当需要从磁盘读取数据的时候，系统会将数据的逻辑地址传递个磁盘，磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址，即确定要读的数据在哪个磁道，哪个扇区。 磁盘地址是根据：柱面号，磁头号，扇区号 来确定的2。 内存地址是根据：源 / 目 2.为了读取这个扇区的数据，需要将磁头放到这个扇区上方，为了实现这一点： 首先必须找到柱面，即磁头需要...
【MySql】深入解析MySQL底层基础知识：存储引擎、数据结构与磁盘交互
一个不断前行的程序者
08-27 2624
存储引擎是MySQL数据库的核心组件，负责数据的存储、查询、更新等操作。它决定了数据如何存储在磁盘上，以及如何被访问。不同的存储引擎具有不同的特性，适用于不同的应用场景。本文详细介绍了MySQL的存储引擎、数据结构以及数据在磁盘上的存储和读取机制。了解这些底层基础知识，有助于我们更好地优化数据库性能、处理故障和规划数据库架构。在实际应用中，应根据业务需求选择合适的存储引擎和数据结构，以提高MySQL数据库的使用效率。
MySQL —— MySQL逻辑架构与查询过程
longool的博客
11-14 1199
MySQL 提供了可插拔式的存储引擎，即 “插上什么存储引擎，就有什么功能”，存储引擎真正的负责了 MySQL 中数据的存储和提取，服务器通过 API 与存储引擎进行通信，不同的存储引擎具有功能不同。语法解析基于词法解析的结果，检查 SQL 语句的结构是否符合 MySQL 的语法规则，判断输入的这个 SQL 语句是否满足 MySQL 语法。接下来并不是直接执行，而是会在优化器这一层进行优化，优化器是个非常复杂的部件，它会按照它认为的最好的方式去优化这条 SQL 语句，并生成一条条的执行计划。
MySQL之SAN/NAS存储实战与多磁盘卷优化指南
最新发布
wj_rdk的博客
04-22 1348
大家好！在数据库领域，存储架构的选择与优化一直是性能保障的核心议题。写作本文的初衷，是希望与各位开发者、运维人员分享SAN（存储区域网络）、NAS（网络附加存储）的实战经验，以及多磁盘卷的配置技巧，帮助大家在实际项目中根据业务需求做出合理决策。文中将结合具体场景，用通俗易懂的语言解析技术要点，并通过图表和代码实例辅助理解。欢迎随时交流探讨！
MySQL主从复制的原理：IO用于交互 SQL用于解析执行；主bin-log 从relay-log；
思维小刀
05-23 316
MySQL主从复制的原理
从MySQL中获取数据，是从磁盘中读取的吗？
qq_30939943的博客
09-22 919
从MySQL中获取数据，是从磁盘中读取的吗？
mysql磁盘读逻辑读_mysql 读取硬盘数据
weixin_39637260的博客
01-19 412
innodb 的最小管理单位是页innodb的最小申请单位是区，一个区 1M,内含64个页,每个页16K ,即 64*16K=1M, 考虑到硬盘局部性,每次读取4个区,即读4M的数据加载至内存线性预读：innodb的读线程从disk读取4M数据后,如果这4个区中被连接访问的页的数据大于或等于innodb_read_ahead_threshold (默认为56)时，就会提前把后面4个区的数据 loa...
为什么查询的时候MySQL要将数据从磁盘读取到内存中？底层原理是什么？
长风破浪会有时的博客
04-08 616
当需要查询数据时，MySQL首先从磁盘中读取包含所需数据的页，并将其存储在内存缓存中。这个缓存称为“缓冲池”或“内存池”。如果查询缓存中有匹配的结果，则MySQL不需要从磁盘中读取数据，而可以直接返回缓存中的结果，从而大大提高查询性能。当查询需要的数据不在缓冲池中时，MySQL会将相关的磁盘块读取到缓冲池中，并从中获取所需的数据。在MySQL中，数据通常是存储在硬盘上的，而查询则是在内存中进行的。总之，MySQL将数据从磁盘读取到内存中，以提高查询速度，并使用缓冲池和查询缓存等机制来优化数据的访问和管理。
【MySQL】聊一聊MySQL的缓存机制
A-Itfuture的博客
08-15 6620
MySQL查询缓存是MySQL中比较独特的一个缓存区域，用来缓存特定Query的整个结果集信息，且共享给所有客户端。为了提高完全相同的Query语句的响应速度，
mysql双一参数_mysql的双1设置
weixin_31597865的博客
01-18 2182
摘要：网易游戏《炉石传说》游戏数据库发生宕机并引发数据丢失事故，最终决定回档并后续补偿玩家损失。详情可见官网公告：http://hs.blizzard.cn/articles/16/8565.有大神分析造成数据库损坏，如果也用MySQL数据库的话，看起来应该是没开启双1设置，我们了解一下什么是双1设置。innodb_flush_log_at_trx_commit和sync_binlog 两个参数是...
细说MySQL中磁盘与CPU的交互——神秘的Buffer Pool
qq_39093474的博客
07-05 642
对于使用作为存储引擎的表来说，不管是用于存储用户数据的索引（包括聚集索引和非聚集索引），还是各种系统数据，都是以页的形式存放在磁盘上，而与内存的交互远远快于与磁盘的交互，所以存储引擎在处理客户端的请求时，如果需要访问某个页的数据，就会把完整的页中的数据全部加载到内存中，也就是说，即使我们只需要访问一个页中的一条记录，也需要先把整个页的数据加载到内存中。将整个页中的数据加载到内存中，就可以进行读写访问了，在进行读写访问之后并不着急把该页对应的内存空间释放掉，而是将其缓存起来，这样下次有请求再次访问该页面时，就
MySQL读取数据时发生了什么？数据读取过程分析[图]
minemi的博客
09-25 968
上一篇我们说到B+树拼接一己之力杀出重围，最后成为了InnoDB和MyISAM这两种存储引擎的索引实现。我们都知道索引心里是有B+树的，他知道自己不可能全部存储在内存中，他一般是以「索引文件的形式存储的磁盘上」。那么MySQL读取数据时都发生了什么呢？这得从内存开始说起。 IRAM与ROM ROM，Read-OnlyMemory：只读储存器，可以理解为电脑的硬盘上存放操作系统的软件，手机的内置储存上存放操作系统的软件，单片机的Flash上存放操作系统的软件。总之就是用来存储操作系统的软件。 RAM，Rand
io操作 mysql_怎样的操作才算是一个IO操作？
weixin_35012535的博客
01-28 940
你好.关于如何才算一个IO的问题，我可以在这里简要讲解，IO在不同层次有不同的概念和单位。一次IO就是一次请求，对于磁盘来说，一个IO就是读或者写磁盘的某个或者某段扇区，读写完了，这个IO也就结束了。【篇幅有限很多内容没办法详细解释，更详细的内容请参考《大话存储》的前几章。】至于transaction，就是更高层的内容了，transaction往往与业务逻辑有关系。比如你去银行存一笔钱，你存这笔钱...
mysql源码分析——InnoDB的磁盘结构之表空间格式
fpcc的专栏
11-12 768
对表空间的文件类型和格式进行分析说明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值