MySQL缓存策略分析

MySQL中间件(四):mysql缓存策略 4.2.4 MySQL缓存策略 阅读详情

一、背景介绍

众所周知,常用的关系型数据库MySQL底层是以B+树来组织存储在磁盘中的数据,而由于磁盘IO的读写性能较差,加之实际业务场景中读操作的次数要数倍于写操作。因此,适当的将读写操作分离,设计一种合适的缓存策略对提升MySQL性能异常重要。

本文讲述的重点放在MySQL读写分离和缓存方案上,同时介绍MySQL的主从复制原理,对缓存方案中存在的数据同步问题进行分析并给出一致性方案,最后对三类常见的缓存问题进行分析。

二、MySQL主从复制原理

MySQL的主从复制主要解决的问题是数据备份、高可用性、故障切换等,在本文中提出主要是为了进一步区分缓存策略和主从复制解决的痛点问题。

先上一张《高性能MySQL》中的图:

​图中主要描述了MySQL复制的三个流程:

第一步: 在主库上记录二进制日志(Binary Log),即binlog。每次准备提交事务完成数据更新前,主库会将要更新的事件记录到binlog当中,值得注意的是,binlog中是按照事务提交的顺序来记录的,而非直观上的语句执行顺序,在记录完日之后,主库就会告诉存储引擎可以提交事务啦!

第二步: 从库将主库的binlog复制到本地的中继日志(Relay Log)。从库首先会启动一个IO线程来跟主库建立连接,接着在主库上启动一个名为“二进制转储”线程,用于读取主库上binlog中的事件,然后从库上的IO线程将接收到的事件记录到relay-log当中。

第三步: 从库上的SQL线程读取relay-log中的事件并重放执行,实现数据更新。值得注意的是,从库的IO线程和SQL线程是独立工作的,类似于生产者消费者模型,实现了获取事件和重放事件的解耦,同时也限制了复制的过程,成为了一些工作的性能瓶颈。

三、读写分离

3.1 基本架构

读写分离的结构如下图所示:

一般将缓存数据库作为辅助数据库,存放热点数据,MySQL则是主要数据库。

3.2 缓存必要性

学过《计组》的同学们都知道,内存的访问速度是磁盘访问速度的10万倍(数量级倍率),内存的访问速度大约是100ns,而一次磁盘访问大约是10ms;此外,访问mysql时访问磁盘的次数跟b+树的高度相关,因此,引入缓存意义就非常重要。

值得注意的是,MySQL内部也有缓存层来保存热点数据,其与具体业务无关,只是包括数据文件、索引文件等,这里以秒杀活动为例,区分MySQL内部缓冲池和缓存数据库。

假设12点有一个秒杀活动,11点有大量用户注册,这就会在MySQL内部缓冲池保存部分数据,但这些用户并不是活跃的,只有在12点左右才是活跃的,也就是所说的用户热点数据,一般选择将这些数据放到缓存数据库(如redis,memcached)当中,提高MySQL性能。

3.3 同步问题分析

如图3.1中的架构图所示,引入缓存后就存在数据的同步问题,对于指定数据操作时,一般存在下面几种情况:

  1. mysql有,缓存无

  2. mysql无,缓存有

  3. 都有,但数据不一致

  4. 都有,数据一致

  5. 都没有

显然,我们只需要考虑前三种异常情况,为此,我们对数据库操作进行调整:

方案一

  1. 在进行删除操作时,先删除redis数据,再删除MySQL数据。

  2. 在进行修改操作时,先删除redis数据,再修改MySQL数据。

  3. 在进行插入操作时,先删除redis数据,在修改MySQL数据。

方案二

不同于方案一操作的繁琐和效率低下,方案二采用了过期时间的概念,具体操作如下:

  1. 在进行删除操作时,先删除redis数据,再删除MySQL数据。

  2. 在修改和插入操作时,首先修改redis数据,并设置过期时间(如100ms),等修改完MySQL并同步redis时再删除过期时间。

四、缓存异常

以上考虑的都是逻辑自洽的方案,那么当缓存发生异常时应该怎么处理呢,下面我们列举几种常见的缓存异常的情况。

4.1 缓存穿透

情形

某类数据既不在redis也不在MySQL,而客户还是一直在尝试读,这时就会产生缓存穿透,数据读取的压力都集中在MySQL,可能造成MySQL不堪重负至奔溃。

解决

  1. 发现mysql不存在,将redis设置为 <key, nil> 并设置过期时间,下次访问key的时候就不再访问mysql,当然这容易造成redis缓存很多无效数据。

  2. 采用布隆过滤器,将mysql当中已经存在的key,写入布隆过滤器,不存在的直接pass掉。(关于布隆过滤器可以看这篇:海量数据去重、HASH、布隆过滤器介绍)

4.2 缓存击穿

情形

某类数据不在redis中,而MySQL中有,此时发生对该类数据的大量并发请求时,就会造成MySQL压力过大的情况。

解决

  1. 加锁。请求数据的时候获取锁,如果获取成功则操作,获取失败则休眠一段时间(200ms)再去获取;获取成功后,释放锁。此时一般的流程是:首先读redis,不存在,读mysql,存在,写redis key的锁,整个流程走完,才让后面的服务器访问。

  2. 将很热的key,设置不过期,即频繁使用的用户数据常驻在redis中。

4.3 缓存雪崩

情形

当redis失效时,出现redis无数据,MySQL有数据,导致请求全部走mysql,有可能搞垮数据库,使整个服务失效。

解决

缓存数据库在整个系统不是必须的,也就是缓存宕机不会影响整个系统提供服务。

  1. 如果因为缓存数据库宕机,造成所有数据涌向mysql。可以采用高可用的集群方案,如哨兵模式、cluster模式;

  2. 如果因为设置了相同的过期时间,造成缓存集中失效。可以设置随机过期值或者其他机制错开失效时间,也就是错峰策略;

  3. 如果因为系统重启的时候,造成缓存数据消失。若重启时间短,将redis开启持久化(过期信息也会持久化); 重启时间长则提前将热数据导入redis当中。

五、总结

本文系统的总结了MySQL缓存方案的必要性,对引入缓存后的数据同步问题进行分析,最后再对三种缓存异常情形进行总结,列举常用的解决方案,希望能帮助同学们理清思路哈!

参考资料

推荐一个零声教育C/C++后台开发的免费公开课程,个人觉得老师讲得不错,分享给大家:C/C++后台开发高级架构师,内容包括Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等技术内容,立即学习

以下学习资料,C++后台开发面试题,教学视频,C++后台开发学习路线图,免费分享有需要的可以自行添加:学习资料群720209036 自取

​

原文链接:MySQL缓存策略_阿杰的小鱼塘的博客-优快云博客_mysql缓存

MySQL数据库和Redis缓存一致性的更新策略 延时双删可以解决上面的问题,只要sleep的时间大于线程2读取数据再写入缓存的时间就可以了,也就是线程1的二次清缓存操作要在线程2写入缓存之后,这样才能保证Redis缓存中的数据是最新的。 阅读详情

相关推荐

MySQL优化,启动mysql缓存机制

配置你的mysql配置文件:主要是配置[mysqld]后面的内容。   1,优化远程连接速度。   在[mysqld]下面添加skip-name-resolve   skip-name-resolve   选项能禁用DNS解析,连接速度会快很多。不过,这样的话不能在MySQL的授权表中使用主机名了而只能用ip格式。   2,设置连接数,mysql默认的连接数是100,太少了。   [mysqld]下面添加   max_connections=512   3,开启缓存机制   skip-locking#取消文件系统的外部锁   key_buffer = 512M#索引缓存,根

Mysql 缓存策略

mysql 缓存方案,缓冲穿透,缓冲击穿,穿冲雪崩

you_fathe的博客 1896

第二十届全国大学生智能车竞赛-地瓜机器人智慧医疗挑战赛技术解析与实战指南

本文深入解析了第二十届全国大学生智能车竞赛-地瓜机器人智慧医疗挑战赛的核心技术。内容涵盖从零搭建数字孪生环境、实现AI视觉任务(二维码识别、引导线追踪、目标检测)、在边缘设备部署轻量化大模型进行图生文描述,到遥操作与自主控制的平滑切换,并提供了基于ROS2的系统集成与赛场实战指南,助力参赛者高效备赛。

weixin_29252171的博客 2782

MySQL缓存策略详解

MySQL缓存方案目的分析:缓存层的作用,缓存层选择,场景分析。 提升MySQL访问性能的方式:MySQL主从复制,读写分离,连接池,异步连接。 redis作为主数据库的常用方法。 缓存方案:缓存和MySQL一致性状态分析,制定读写策略。 同步方案:canal,go-mysql-transfer。 缓存方案的故障问题及解决:缓存穿透,缓存击穿,缓存雪崩。 缓存方案的弊端是不能处理多语句的事务。

Lion_Long的博客 6730

AppFlow实战:零代码将Dify接入企业微信的完整指南

本文提供了一份零代码将Dify AI应用接入企业微信的完整实战指南。通过使用阿里云AppFlow作为无代码连接器,详细讲解了从获取Dify API密钥、创建企业微信应用到配置自动化流程的全过程,帮助团队快速将AI能力无缝融入日常协作,大幅提升工作效率。

php55的博客 808

OrangePi Kunpeng Pro 安装 ROS2 + Gazebo

OrangePi Kunpeng Pro 的优点很明显,内置openEuler,配备PD电源,做到开箱即用;板子设计也不错,风扇噪音不大,散热良好,昇腾芯片又确保小板子的性能,接口丰富是这类板子共同的优点,也很好的继承了下来,甚至还可以外接固态,可靠性大大提升。使用起来,哪怕不用openEuler的话,也可以很方便的刷Ubuntu来实现一些需要依赖的开发工作,这次没有跑AI模型,所以对算力的优势还没有很明显的感受,下次可以试一下yolo跑跑看。

Arcan 1827

MySQL的缓存策略

由于 mysql 的缓冲层(buffer pool)不由用户来控制,也就是不能由用户来控制缓存具体数据;访问磁盘的速度比较慢,尽量获取数据从内存中获取;主要解决读的性能;因为写没必要优化,必须让数据正确的落盘;如果写性能出现问题,那么请使用横向扩展集群方式来解决;项目中需要存储的数据应该远大于内存的容量,同时需要进行数据统计分析,所以数据存储获取的依据应该是关系型数据库;缓存数据库可以存储用户自定义的热点数据;以下的讨论都是基于热点数据的同步问题。

m0_74186706的博客 1378

spark 适配达梦数据库

spark 适配达梦数据库 版本 spark3.0.0 scala2.12.10 DM Database Server 64 V8 步骤一: 引驱动包: SBT方式: "com.dameng" % "Dm8JdbcDriver18" % "8.1.0.157", maven方式: <dependency> <groupId>com.dameng</groupId> <artifactId>Dm8JdbcDriver18</artifac

_@Eva@_的博客 2093

MySQL缓存策略

接下来,我们介绍几种提高MySQL访问性能的方式。

Ricardo2的博客 1117

FreeRTOS全攻略:从入门到精通

本文聚焦 FreeRTOS,从基础概念出发,阐述其开源、轻量级等优势。着重介绍 FreeRTOS 入门知识,涵盖内存管理、任务操作、同步互斥机制等核心内容。其中,空闲任务与钩子函数保障系统基础运行与功能扩展;队列、信号量、互斥锁和事件组等机制,分别从数据传递、资源访问控制、优先级问题解决及多任务同步等方面,为开发者提供高效的任务间协作与资源管理方案,助力开发者掌握 FreeRTOS 核心技术,为嵌入式项目开发筑牢基础。

邓邓子的博客 6363

【数字孪生与仿真技术】06:航天器系统建模与验证全流程实战:从多学科建模到数字孪生(附完整代码与工业案例)

摘要:航天器系统开发面临多学科耦合强、验证流程复杂、可靠性要求极高的挑战。本文基于MATLAB/Simulink平台,系统阐述航天器从多域建模、动力系统开发到任务验证的全流程技术框架。内容涵盖Modelica统一建模规范、光伏-电池联合供电系统仿真、基于模型的需求追溯方法、蒙特卡洛可靠性分析及硬件在环测试等核心技术,并结合James Webb太空望远镜电力系统案例,展示工业级应用实践。文中提供完整的Simulink模型代码、仿真结果及流程图,最后探讨数字孪生与AI增强技术在航天器在轨运维中的未来应用。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1375

MySQL 缓存详解,让你的应用跑得更快!

MySQL缓存主要包括查询缓存和InnoDB缓冲池。查询缓存通过将完整的查询语句及其结果存储在内存中,以便在下次相同查询请求时可以直接返回缓存中的结果,从而加速读取操作。然而,查询缓存的命中率可能会受到数据更新、缓存失效等因素的影响,并且在特定场景下会导致性能下降。 InnoDB缓冲池是针对InnoDB存储引擎的缓存机制,主要用于缓存数据页和索引页,以减少对磁盘的访问。相比于查询缓存,InnoDB缓冲池更适用于那些有频繁更新和插入操作的表,因为它不会因为数据的变化而导致缓存失效。合理配置和管理缓存,可以提

小电玩 1338

乐企归集能力说明文档V2.0006

纳税人销售货物、提供服务开具的增值税发票及购进货物、接受服务取得的增值税发票、海关缴款书(含出口转内销证明)、代扣代缴完税凭证,可以通过本能力进行归集。纳税人可将本能力中的各类规则和接口嵌入本单位信息化系统中(如:销售、报销、财务等),实现发票自动化归集,便于纳税人完成发票入账、抵扣、退税以及代办退税等操作,有效提升涉税业务办理效率。

记录点滴 575

MySQL4——缓存策略

本文讲述了Mysql缓存方案的原理、其它改进方案、缓存读写策略、缓存一致性的分析与实现,数据增量同步的实现方式:伪装从库、udf+触发器。最后还分析了该缓存方案可能出现的故障及解决方案,以及其弊端。

leedcanDD的博客 1000

手把手教你从入门到精通C#串口通信

本文以我开发的串口助手SComTool为例,详细介绍《C#串口通信从入门到精通》专栏的目录内容,本专栏由一个高级工程师多年实战经验总结,绝对是c#串口通信的葵花宝典!带您从入门到精通C#串口通信!

qq_34059233的博客 3万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

MySQL 查询优化:提速查询效率的13大秘籍(索引设计、查询优化、缓存策略、子查询优化以及定期表分析和优化)(中)

为了使您的MySQL数据库达到最佳状态,深入了解和应用优化技巧至关重要。本文详细介绍了5个关键性能优化策略,从巧妙的索引设计到查询的精准优化,再到缓存的有效运用。通过代码示例和表格,我们将帮助您理解并迅速实施这些技巧,确保您的MySQL数据库在高效性能的支持下运行。无论您是数据库初学者还是有经验的开发者,这篇文章都将为您提供宝贵的见解,助力您在数据库优化的道路上更进一步。

欢迎来到技术蜜糖罐的IT角落! 2046

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【MySQL】之语句执行过程分析

MySQL的语句执行过程可以表示如下: 首先客户端连接MySQL的连接器,连接成功后,先到查询缓存看看,之前是不是执行过这条语句,如果能够命中就返回缓存的value; 如果没有缓存则进入词法分析器对SQL语句进行词法解析 语句分析完毕后进入优化器进行SQL语句优化 最后交给引擎执行语句 MySQL连接 我们要进行查询,第一步就是先去链接数据库,那这个时候就是连接器跟我们对接。连接器负责跟客户端建立链接、获取权限、维持和管理连接。 链接数据库的过程会经过TCP握手,然后身份验证,输入用户名和密码验证成

王廷云的博客 477

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

MySQL查询缓存 --《高性能MySQL》读书笔记

Query Cache(QC)         缓存完整的Select结果,当查询命中该缓存,MySQL会立刻返回结果,跳过解析、优化和执行阶段。 1、如何判断缓存命中         缓存存放在一个引用表中,通过哈希值引用。哈希值包括查询本身、待查数据库、客户端协议版本等可能影响返回结果的信息。 注: 当表被lock tables锁住时,仍可以通过查询缓存返回数据。任何字符不同

zxiaofan.com 2249

第28章_mysql缓存策略

本文主要介绍mysql缓存方案

qq_29750559的博客 325

4.2.4 MYSQL的缓存策略

4.2.4 MYSQL的缓存策略

weixin_52423494的博客 1099

MYSQL 的缓存策略(四)

用户直接从。

Z2460986913的博客 1146

中间件专栏之MySQL篇——MySQL缓存策略

二进制日志(Binlog):根据参数设置,常见的做法是每次事务提交时写入磁盘。错误日志(Error Log):实时刷盘,记录数据库运行状态和错误信息。查询日志(General Log):实时刷盘,记录所有的查询操作。日志类型主要功能是否包含数据变化是否记录所有操作刷盘时机二进制日志数据恢复、主从复制、审计是否事务提交时写入错误日志记录数据库错误、启动/停止等信息否否实时刷盘查询日志记录所有SQL查询否是实时刷盘。

hz_uzi的博客 1101
上一篇: 时间堆原理详解及C++11的实现
下一篇: 后端开发【一大波有用知识】Redis中的IO多线程(线程池)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值