LRU在MySQL缓存池的实现

由浅入深了解MySQL底层查询逻辑 什么是高性能,每个人都有不同的回答,如:“每秒查询次数”、“CPU利用率”、“可扩展性”。《高性能Mysql》中给出的定义是“响应时间”,它认为CPU利用率来作为高性能的指标是悖论,CPU利用率低恰恰说明性能差对cpu利用率不高,真正有效的是“查询响应时间mysql的高性能主要体现在写和读上,在写的层面公司DBA已经进行了主从主备的高可用部署,同时对redolog、binlog等有很好的管理,基于我们目前对快速读的需求比较多,本文主要探讨怎么高性能读? 阅读详情

LRU在MySQL缓存池的实现

MySQL的InnoDB引擎设置有索引及数据缓存池,其中用到的LRU算法来维持缓存的命中率

这里用到了顺序表list来作为缓冲池,每个数据节点称为block

该算法采用“中点插入法”:当插入一个新block时,移除表尾最近最少使用的block,在中点插入新block。

这个中点将链表分为两部分:

1.靠近表头的一部分,为young区,这里的block是最近使用的节点
2.靠近表尾的一部分,为old区,这里的block是最近少使用的

该算法通过链表中的block的使用热度来维持各block的位置,其中old区的block为链表满的时候移除的候选区

具体算法如下:

1.链表的3/8被设置为old区
2.中点不是链表的中间点,而是old区的表头节点,即old区与young区的相邻的那个节点
3.当读取的数据不在缓冲池里的时候,读取到的block需要插入到链表中,插入点为中点,但是插入的新节点为old区的节点,如果此时old区满了得话,移除表尾的block(LRU节点)
4.当读取old区的block时,该节点将变成“young”节点:此节点移动到young区的表头(young区的头部那里)
5.在数据库操作中,被访问的节点将移除到young的表头,这样一来,在young区中的未被访问的节点将逐渐往表尾移动,当移动过中点,将变为old区的节点。而old区的节点若被访问到将变为young节点移动到表头,而old区中的为被访问的节点依旧往表尾移动,当表满时,表尾那个block将会被淘汰掉

这里不涉及到具体代码实现,只是简单讲了下原理,待实现出来后再贴上来

转载于:http://www.cnblogs.com/iamsupercp/p/3682659.html

说一说Mysql缓存池BufferPool基本原理 前言: 最近面试了一些个5年8年的程序员,普遍发现了一个问题,底层的基本原理知道的少之又少,只停留在CRUD。其实还是很建议每一位同学关注一些底层的实现原理,当然不是要自己再造轮子,而是学习别人想法的同时当你了解他的底层的实现原理,在编写代码中才能把你的代码写的更优更健壮。 废话到此结束 开始正题~~~~ 一、为什么要有缓存池 我们在使用sql查询的时候,都应该会发现一个问题,第一次对于数据查询的时候(数据量w级别无索引),查询速度可能在秒级别,而再进行第二次第三次查询的时... 阅读详情

相关推荐

DBA面试题:MySQL缓存池LRU算法做了哪些改进?

下图是MySQL(MySQL5.7版本)体系架构图MySQL的InnoDb Buffer Pool 缓冲池是主内存中的一个区域,用来缓存InnoDB在访问表和索引时的数据。对于频繁使用的数据可以直接从内存中访问,从而加快处理速度。如果一台服务器专用作MySQL数据库使用时,通常将70%~80%(具体看总内存大小而定)的物理内存空间分配给缓冲池。缓冲池由多个缓冲池实例(innodb_buffer_p...

gjc592的博客 1578

MySQL的缓冲池(buffer pool)及 LRU算法

buffer pool 是数据库的一个内存组件,里面缓存了磁盘上的真实数据,Java系统对数据库的增删改操作,主要是这个内存数据结构中的缓存数据执行的。控制块存的是 数据页所属的表 空间号,数据页编号,数据页地址等信息是放在缓存页的前面控制块占缓冲页百分之5左右的内存大小缓存页1.buffer pool中存放的数据页我们叫缓存页,和磁盘上的数据页是一一对应的,都是16KB2.缓存页的数据,是从磁盘上加载到buffer pool当中的。

qq_48157004的博客 2186

LRU算法的实现

近期最少使用算法

MySQL 之LRU 缓存管理算法

在 MySQL 中,特别是针对 InnoDB 存储引擎,LRU(Least Recently Used 最近最少使用)算法用于管理缓冲池中的数据页

XT4625的专栏 1244

电源新手别怕!手把手教你搞定Buck电路的环路补偿(附Type II/III补偿器参数计算)

本文为电源设计新手详细解析Buck电路环路补偿技术,重点介绍Type II和Type III补偿器的参数计算与设计方法。通过实例演示和实用技巧,帮助工程师快速掌握环路补偿原理,解决电源振荡、响应慢等问题,提升电路稳定性与性能。

weixin_30607029的博客 628

微信中调起支付宝支付

微信中调用支付宝支付,首先我们知道微信是不能直接调用支付宝的,所以我们需要使用一个中间页提示用户在浏览器中打开,然后进行网页支付或打开app支付。以下为详细唤起支付宝的步骤、业务代码以及相关页面图。 如有问题欢迎评论留言,看到定回复哦^_^\(^o^)/~ 一、微信中唤起支付宝,有几个步骤: 1、中间页引导用户在浏览器中打开去唤起支付宝。 2、浏览器中打开支付宝或app中打开支付宝。 3...

han_calligrapher的博客 2万+

LRU 算法在 MySQL 和 Redis 中的实现与优化

LRU 算法全称:Least Recently Used,故名思义就是最近最少被使用的。一般会用 LRU 算法来实现内存的淘汰机制。LRU 算法的核心就是淘汰掉最久未使用的数据。LRU 算法的思想就是认为最近被使用的数据是热点数据,下一次有很大可能性被访问,所以当内存不足时就要淘汰掉最不常用的数据来为后面进来的数据腾空。...

weixin_46017166的博客 1189

DAC8760高精度数模转换器原理与工业级嵌入式应用

数模转换器(DAC)是工业测控系统中实现数字指令到模拟执行的关键接口,其核心性能由分辨率、线性度、温漂及系统级TUE(总未调整误差)共同决定。DAC8760作为一款16位四象限精密DAC,集成了可编程增益放大器(PGA)、内部基准源与SPI高速接口,支持电压/电流双模输出,显著提升闭环控制精度与硬件适配灵活性。其技术价值在于将高精度模拟前端与数字控制深度耦合,满足PLC、ATE及激光偏置等严苛场景对长期稳定性与多通道同步性的要求。本文围绕DAC8760的寄存器配置、HAL/LL驱动实践、PCB布局规范、现场

weixin_42315569的博客 584

mysql lru_聊聊缓存淘汰算法-LRU 实现原理

前言我们常用缓存提升数据查询速度,由于缓存容量有限,当缓存容量到达上限,就需要删除部分数据挪出空间,这样新数据才可以添加进来。缓存数据不能随机删除,一般情况下我们需要根据某种算法删除缓存数据。常用淘汰算法有 LRU,LFU,FIFO,这篇文章我们聊聊 LRU 算法。LRU 简介LRU 是 Least Recently Used 的缩写,这种算法认为最近使用的数据是热门数据,下一次很大概率将会再次被...

weixin_39992831的博客 546

数据集分享 | IWR1642呼吸心跳数据集

雷达开源数据库 数据集

【调皮连续波】雷达技术领域知识博主 3209

FPGA开发中Quartus与Modelsim联合仿真配置与调试全攻略

在数字电路设计与FPGA开发中,仿真验证是确保逻辑功能正确性和时序性能达标的核心环节。其基本原理是通过软件模拟硬件电路的行为,在设计转化为实际硬件前发现潜在缺陷。这项技术的核心价值在于大幅降低开发风险与成本,提升设计可靠性,广泛应用于通信、嵌入式系统、芯片验证等领域。对于使用Intel FPGA平台的开发者,Quartus Prime作为官方综合布局布线工具,其内置仿真器在应对复杂设计、深度调试和自动化测试时存在局限。此时,引入专业仿真工具Modelsim进行联合仿真成为提升验证效率的关键实践。通过搭建自动

weixin_33736048的博客 453

如何实现LRU算法?

1.什么是LRU算法? LRU是一种缓存淘汰机制策略。 计算机的缓存容量有限,如果缓存满了就要删除一些内容,给新的内容腾位置。但是要删除哪些内容呢?我们肯定希望删掉那些没有用的缓存,而把有用的数据继续留在缓存中,方便之后继续使用。那么,什么样的数据我们可以判定为有用的数据呢? LRU缓存淘汰算法就是一种常用策略。LRU的全称是Least Recently Used,也就是说我们认为最近使用过的数据...

weixin_30521649的博客 249

Excel VBA | 一键批量生成对账单

根据对账单总表一键批量生成N家独立的客户对账单。

Microgoblins的博客 6988

mysql lru_LRU在MySQL缓存池的实现

MySQL的InnoDB引擎设置有索引及数据缓存池,其中用到的LRU算法来维持缓存的命中率这里用到了顺序表list来作为缓冲池,每个数据节点称为block该算法采用“中点插入法”:当插入一个新block时,移除表尾最近最少使用的block,在中点插入新block。这个中点将链表分为两部分:1.靠近表头的一部分,为young区,这里的block是最近使用的节点2.靠近表尾的一部分,为old区,这里的...

weixin_35953401的博客 282

FPGA实现DDR接口

verilog// DDR2控制器状态机// 初始化序列// 发出初始化命令endendendend// 自动预充电end// 其他状态...endcaseendend。

whm128的博客 1004

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

mysql实现号码池_LRU在MySQL缓存池的实现

MySQL的InnoDB引擎设置有索引及数据缓存池,其中用到的LRU算法来维持缓存的命中率这里用到了顺序表list来作为缓冲池,每个数据节点称为block该算法采用“中点插入法”:当插入一个新block时,移除表尾最近最少使用的block,在中点插入新block。这个中点将链表分为两部分:1.靠近表头的一部分,为young区,这里的block是最近使用的节点2.靠近表尾的一部分,为old区,这里的...

weixin_39986027的博客 145

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

php实现mysql缓存池_LRU在MySQL缓存池的实现_MySQL

MySQL的InnoDB引擎设置有索引及数据缓存池,其中用到的LRU算法来维持缓存的命中率这里用到了顺序表list来作为缓冲池,每个数据节点称为block该算法采用“中点插入法”:当插入一个新block时,移除表尾最近最少使用的block,在中点插入新block。这个中点将链表分为两部分:1.靠近表头的一部分,为young区,这里的block是最近使用的节点2.靠近表尾的一部分,为old区,这里的...

weixin_32179097的博客 148

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

mysql lru list,mysql的缓存池中的LRU列表实现机制源码解析

曾道听途说,mysql的缓存池,"一个是young的,一个是old ,young池缓存的是最近使用的页,old池是存放老旧的页,也就是一段时间没有使用的页,假如存在全表扫描的时候,大量的数据页要占据缓存池,但不会把热点页( 也就是young的缓存页)换出去,这样以来,的确是个完美的解决方案”。但未曾知道听说的是否真正的正确,如果正确,mysql到底是如何实现呢 ?现在告诉大家答案。学习过mysql...

weixin_29317963的博客 415

mysql lur_LRU算法及其优化策略——Mysql篇

在上一篇文章中,介绍了LRU算法在Redis之中的应用,本篇继续给各位道友介绍在Mysql的InnobDB引擎中,是如何使用LRU算法的。InnoDB缓冲池缓存池简介及内存结构首先来介绍下InnoDB的缓冲池,缓冲池简单来说就是一块内存区域,该区域内缓存着InnoDB访问存储在磁盘的数据和索引信息。缓冲池有两个作用,一是提高了大容量读取操作的效率,二是提高了缓存管理的效率。调配缓存池参数,使得经常...

weixin_34026053的博客 289

什么是MySQL数据库的缓存池原理?看完或许就懂了

前言 面试官:同学,你能说说Mysql 缓存池吗? 是CPP啊:啊,这么难吗,容我组织一下语言。(内心OS:这TM还不简单?我能给你扯半小时!) 面试官:可以,给你一分钟时间想一想吧。 ....一分钟后.... 是CPP啊:我准备好了,你可听好,我要开始表演了。 为什么要有缓存池? MySQL 的 innodb 存储引擎是基于磁盘存储的,并且是按照页的方式进行管理的。 在数据库系统中,CPU 速度与磁盘速度之间的差距是非常大的,为了最大可能的弥补之间的差距,提出了缓存池的概念。 .

Python6886的博客 395

为什么mysql数据库需要缓存_什么是MySQL数据库的缓存池原理?看完或许就懂了...

前言面试官:同学,你能说说Mysql 缓存池吗?是CPP啊:啊,这么难吗,容我组织一下语言。(内心OS:这TM还不简单?我能给你扯半小时!)面试官:可以,给你一分钟时间想一想吧。....一分钟后....是CPP啊:我准备好了,你可听好,我要开始表演了。为什么要有缓存池?MySQL 的 innodb 存储引擎是基于磁盘存储的,并且是按照页的方式进行管理的。在数据库系统中,CPU 速度与磁盘速度之间的...

weixin_34463228的博客 174

MySQL · 引擎特性 · InnoDB Buffer Pool

一序      上一篇在介绍innodb的双写特性时,提到了Buffer Pool,知识点很多本文专门整理。《MYSQL运维内参的》的第11章第一节介绍了这部分。       用户对数据库的最基本要求就是能高效的读取和存储数据,但是读写数据都涉及到与低速的设备交互,为了弥补两者之间的速度差异,所有数据库都有缓存池,用来管理相应的数据页,提高数据库的效率,当然也因为引入了这一中间层,数据库对内存...

bohu83的博客 1440

一文搞懂MySQL Buffer Pool数据缓存及维护机制

MySQL官方手册上提供了构成 InnoDB 存储引擎体系结构的内存中和磁盘上结构示意图:本文主要介绍这里Buffer Pool 数据缓存及维护机制是什么样子的。

weixin_42325781的博客 1303

从0开始,手写MySQL数据管理器DM

1)管理DB, 提供抽象;2)缓存;3)保证可恢复性。DM将DB从文件抽象为了数据项的集合,使得上层模块不再需要关系文件细节。在提供抽象时,没有提供Delete(x)的操作, 这是由VM造成的。由于DM的缓存,数据的位置将会有"内存"和"磁盘"的概念,这两个位置之间的数据是需要同步的。DM通过日志的方式来保证可恢复性。DM的可恢复性保证,需要得到上层模块对两个规则的支持, 而这是由VM模块完成的. 其他DM的细节请参考代码注释。一作:Marry。

架构师尼恩 1405

mysql日志 二

- 数据是什么   从不同的角度和层次来看,我们可以将数据库中的数据看作:   A. 关系数据   B. 元组或对象   C. 存在Page中的二进制序列   因此Log中也可以记录不同的内容: - 物理的日志(Physical Log)   A. 记录完整的Page   B. 记录Page中被修改的部分(page中的偏移,内容和长度).   优点:因为恢复时

duxingxia356的专栏 566
上一篇: MySQL数据库SYS CPU高的可能性分析
下一篇: TPS和QPS的区别
DB_su
博客等级 码龄9年 14粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值