深入理解MYSQL之缓存

MySQL之查询缓存:深入理解与高效运用 在MySQL数据库的学习与实践中,查询缓存是一个对性能影响显著的功能,合理利用它能大幅提升系统效率,然而其复杂的工作机制和众多影响因素又常常让人困惑。今天我把自己在这方面的学习心得分享出来,希望能和大家一起学习进步,更深入地掌握这一功能。 阅读详情

在讲缓存之前先了解一下,什么是MYSQL的主从复制和读写分离。

主从复制

 


 master是主数据库,stave从数据库

  (1)DML操作引起主数据库数据变更,产生binlog文件(二进制日志,在事务提交后产生),通过io-thread写入binlog;

  (2)从数据库请求读取binlog,开启io-thread线程读取主数据库发送过来的binlog,并写入relaylog(中继日志);

  (3)从数据库通过SQL-thread读取relaylog,进行回放(就是在主数据执行的DML操作在从数据库执行一遍),这样就能保持从数据库与主数据库一致。

读写分离

​  应用层写操作在主数据库,读操作在从数据库,这种读写分离可高效解决读性能,由于主数据库同步到从数据库需要一点的时间,所以从数据库读取到的数据不一定是最新的数据,会有一定的延迟,看具体的业务要求可否满足。最终一致性,写主数据库,读从数据库;而强一致性,写主数据库,对于读,根据业务需求,对数据进行划分,那些数据对一致性要求高的,读主数据库,那些数据对一致性要求不高的,读从数据库。

缓存方案

  使用的前提是读多写少,单个节点能支撑项目数据量;MySQL有缓冲层,它的作用是用来缓存热点数据,这些数据包括数据文件、索引文件等;MySQL缓冲层是从自身出发,跟具体的业务无关;MySQL数据主要存储在磁盘当中,适合大量重要数据的存储。

  缓存数据库可以使用redis、memcached;它所有的数据都存储在内存当中,当然也可以将内存当中的数据持久化到磁盘中;内存的访问速度是磁盘访问速度的10万倍,所以可以将热点数据在缓存数据库中备份,将热点读操作转移到缓存数据库。

同步问题

  没有缓冲层之前,我们对数据库的读写都是基于MySQL,所以不存在同步问题;引入缓冲层后,我们需要分别操作MySQL和缓存数据库,那么这个时候数据可能存在几个状态:

  (1)MySQL有,缓存无;

  (2)MySQL无,缓存有;

  (3)都有,但是数据不一致;

  (4)都有,数据一致;

  (5)都没有。

  4,5显然没有问题,我们获取数据的主要依据是MySQL,所以在保证MySQL数据正确下,只需将MySQL的数据正确同步到缓存数据库就可以了;对于2,缓存有MySQL无,可以认为这是脏数据,MySQL和缓存都有,但不一致,这两个问题,在同步策略中需要避免。

C/C++Linux服务器开发高级架构师/C++后台开发架构师​免费学习地址

另外还整理一些C++后台开发架构师 相关学习资料,面试题,教学视频,以及学习路线图,免费分享有需要的可以自行添加:Q群:720209036 点击加入~ 群文件共享,详情看以下视频

Linux C/C++后台开发学习资源整理,包括教学视频,文档,面试题,学习路线图

解决数据同步问题

  以下分别对强一致性和最终一致性解决同步问题。

(1)强一致性

​     a. 同步是否成功的依据来源于mysql是否同步到redis,即使没有同步成功,也没有关系;

    b. 写流程:先删除缓存,再写mysql,后面同步数据交由go-mysql-transfer;

    c. 先删除缓存,为了避免其他服务读取旧的数据,也是告知系统这个数据已经不是最新,建议从mysql获取;

    d. 强一致性只试用于单数据中心的模型下;

    e. 多数据中心模型,不管先操作redis还操作mysql都会引起分布式异常问题的产生,此时可以使用分布式锁解决,但是得不偿失,可以将多数据中心转为单数据中心;或者强一致性需求读写都走mysql,其他低一致性需求走最终一致性。

    为什么要删除?

      对于同一个服务器而言,写MySQL前如果不删除redis中对应的key,其他的访问可能会读取到老数据,导致数据不一致。

(2)最终一致性

​    读写分离,主库将数据同步到从库,是需要一定时间,那么在同步期间,主从之间数据有差异,有两种解决方案:

    a. 直接写 mysql,等待 mysql 同步数据到 redis;

    b. 先写redis,设置key的过期时间为200ms,等待mysql写回 redis,覆盖key,设置更长的过期时间;200ms默认的是写mysql到mysql同步到redis时长,这个需要根据实际环境进行设置。

异常情况

  (1)缓存穿透

    假设某个数据redis不存在,mysql也不存在,如果一直尝试读,数据最终压力依然堆积在MySQL,可能造成MySQL不堪负重而崩溃。

    解决方法:

      a.发现MySQL不存在,将redis中访问的这个key设置为<key,nil>,并设置过期时间,下次访问该key的时候,不再访问MySQL,不过会容易造成redis缓存很多无效数据

      b.布隆过滤器(存在限制是不持支删除操作),将MySQL当中已经存在的key,写入布隆过滤器,访问不存在的可直接pass掉。

  (2)缓存击穿

    某些数据redis没有,但是mysql有;此时大量这类数据的并发请求,同样造成mysql压力过大。

    解决:

      a. 加锁,请求数据时获取锁,如果获取成功,则操作(先读redis,不存在,读mysql,写redis,释放锁);获取失败,则休眠一段时间(200ms)再去获取,获取成功,待操作完后释放锁;

      b. 将很热的key,设置永不过期。

  (3)缓存雪崩

    表示一段时间内,缓存集中失效(redis无,mysql有),导致请求全部走mysql,可能搞垮数据库,整个服务失效。

    解决:

      a. 如果因为缓存数据库宕机,造成所有数据涌向mysql;采用高可用的集群方案,如哨兵模式、cluster模式;

      b. 如果因为设置了相同的过期时间,造成缓存集中失效;设置随机过期时间或者其他机制错开失效;

      c. 如果因为系统重启的时候,造成缓存数据库失效;重启时间短,redis开启持久化(过期时间也会持久化)就行了;如果重启时间长,则提前将热数据导入redis当中。

原文地址:MYSQL之缓存 - MrJuJu - 博客园

 

从‘延时响应’到‘缓存欺骗’:深入理解MySQL时间盲注的底层机制与误差规避 本文深入探讨MySQL时间盲注的底层机制,揭示查询缓存对延时响应的影响及误差规避策略。通过分析缓存陷阱、时间误差构成模型,提供鲁棒性payload设计方法,包括缓存规避技术和智能阈值判定算法,帮助开发者更精准地进行SQL注入测试。 阅读详情

相关推荐

【MySQL】深入理解MVCC与BufferPoll缓存机制

MVCC就是多版本并发控制机制MySQL在隔离级别下如何保证事务较高的隔离性?同样的SQL查询语句,就算对数据有也当前事务SQL语句的查询结果。在和这两个隔离级别下,它们的隔离性都是通过MVCC机制来实现的!而也可以保证,但是是通过加锁互斥来实现的!有时候连select,也要加上读锁!性能是相当的低!我们最常用的还是这个隔离级别!MVCC机制的实现就是通过read-view机制与undo版本链比对机制,使得不同的事务会根据数据版本链对比规则读取同一条数据在版本链上的不同版本数据。

金鳞踏雨 1049

MySQL缓存策略详解

MySQL缓存方案目的分析:缓存层的作用,缓存层选择,场景分析。 提升MySQL访问性能的方式:MySQL主从复制,读写分离,连接池,异步连接。 redis作为主数据库的常用方法。 缓存方案:缓存和MySQL一致性状态分析,制定读写策略。 同步方案:canal,go-mysql-transfer。 缓存方案的故障问题及解决:缓存穿透,缓存击穿,缓存雪崩。 缓存方案的弊端是不能处理多语句的事务。

Lion_Long的博客 6730

高效敏感词检测API平台对比与选型指南

本文为开发者提供了高效敏感词检测API平台的选型指南。文章对比了专业API平台、头部云厂商、新兴AI服务商及开源方案,从检测能力、集成易用性、成本、稳定性及扩展性五大维度进行分析,并给出实战选型建议,帮助团队根据业务场景快速选择最合适的敏感词检测服务。

weixin_29325955的博客 349

Mysql 缓存策略

mysql 缓存方案,缓冲穿透,缓冲击穿,穿冲雪崩

you_fathe的博客 1896

Python 实战:高效绕过 reCAPTCHA v3 的自动化策略

本文深入探讨了使用Python高效绕过reCAPTCHA v3验证的实战策略。文章首先解析了reCAPTCHA v3无感验证的评分机制,随后详细介绍了两种核心解决方案:一是利用CapSolver等专业API服务直接获取有效token,二是通过Playwright模拟真人浏览器行为以提升评分。文中提供了从定位关键参数到代码实现的完整流程,并强调了合规操作与请求频率控制的重要性,为自动化开发者提供了切实可行的技术指南。

weixin_29057065的博客 491

TI C2000 , .cmd文件,.TI.ramfunc,将程序分配为在RAM中运行/Flash运行的配置方法和原理讲解,(如28375S ,280049,28335等等芯片)

1 基础知识讲解 1.1 在RAM中运行还是在flash中运行指的是什么? 1.1.1 背景:程序编译完之后生成的.bin文件,.bin文件中包含代码段,代码段中全是汇编指令,而汇编指令中包含多个函数,各函数头的地址不同,如存在A函数和B函数,假设RAM地址区间是0x0000-0x8000,flash的地址区间是0xA000-0xF000,A函数要调用B函数,则A函数调用B函数的那段汇编指令中包含的是B函数头的存储地址,A函数和B函数都在flash中有存储 1.1.2 情况1:B函数是配置为在RAM中运行,

weixin_43776284的博客 8073

MySQL 缓存详解,让你的应用跑得更快!

MySQL缓存主要包括查询缓存和InnoDB缓冲池。查询缓存通过将完整的查询语句及其结果存储在内存中,以便在下次相同查询请求时可以直接返回缓存中的结果,从而加速读取操作。然而,查询缓存的命中率可能会受到数据更新、缓存失效等因素的影响,并且在特定场景下会导致性能下降。 InnoDB缓冲池是针对InnoDB存储引擎的缓存机制,主要用于缓存数据页和索引页,以减少对磁盘的访问。相比于查询缓存,InnoDB缓冲池更适用于那些有频繁更新和插入操作的表,因为它不会因为数据的变化而导致缓存失效。合理配置和管理缓存,可以提

小电玩 1338

JSON(详解)

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。它以易于阅读和编写的文本格式来存储和表示数据,通常用于在不同的系统之间进行数据交换。JSON数据以键-值对的形式组织,可以包含对象、数组、字符串、数字等基本数据类型。它经常在Web开发、API通信等领域被广泛使用。

7708

MySQL缓存机制详解

MySQL的缓存机制通过多层次的缓存减少了磁盘I/O操作,提高了数据库的访问速度和响应能力。通过合理配置缓存参数,可以有效地提升MySQL的性能,尤其是在高并发和大数据量的环境下。理解每个缓存机制的工作原理并进行相应的优化配置,是MySQL性能调优的关键。

qq_50847694的博客 1415

第零章 序 Chisel教程汇总

笔者目前西安交通大学微电子硕士在读,研究方向为数字集成电路设计与体系结构。鉴于目前RISC-V的火热程度,笔者参与了课题组的RISC-V项目,并了解、学习了颇受关注的新型硬件构建语言——Chisel,当前参与的神经网络加速器设计便是使用Chisel开发的。这是一门敏捷开发语言,据称要比传统的Verilog语言快很多。在亲身使用过后,笔者发现确实快了不少。这主要得益于Scala作为高级语言的简洁风格...

qq_34291505的博客 7万+

三菱FX5U运动控制(步进)

三菱FX5U脉冲定位控制,原点回归,相对定位,绝对定位,运动控制案例。

weixin_55762091的博客 1万+

【数据库篇】MySQL日志 & 存储 & 缓存篇

1. 原理 MySQL之间数据复制的基础是二进制日志文件(binary log file)。一台MySQL数据库一旦启用二进制日志后,其作为master,它的数据库中所有操作都会以“事件”的方式记录在二进制日志中,其他数据库作为slave通过一个I/O线程与主服务器保持通信,并监控master的二进制日志文件的变化,如果发现master二进制日志文件发生变化,则会把变化复制到自己的中继日志中,然后...

王大阳的博客 1428

车载摄像头EMC问题剖析

车载摄像头作为智能驾驶核心部件,其EMC问题日益突出。某案例中,摄像头在48MHz~175MHz频段辐射超标。通过控制变量法排查,发现网络变压器地环路和共模抑制不足是主因。整改措施包括优化接地隔离、增加共模滤波器和使用屏蔽网线,最终通过EMC测试。案例表明,EMC问题需从系统耦合角度解决,建议设计阶段预防地环路,在高速信号链中加入滤波隔离措施。全文150字。

硬核科技 273

深入理解 MYSQL 之缓存

在讲缓存之前先了解一下,什么是 MYSQL 的主从复制和读写分离。

dongjia9的博客 238

面向非平行语料的语音转换技术综述

摘要语音转换是语音及人工智能领域的一项研究课题,其目标是在保持源语音内容不变的情况下改变语音的音色,使其听上去像是由另一个目标说话人说出的,同时还需保证语音的质量和自然度。面向非平行语料的语音转换技术是当下的热门研究内容,其使用非平行的多说话人语音数据集进行模型训练,能完成多对多以及任意对任意的语音转换。对近年来面向非平行语料的语音转换进行了全面的总结和分析。首先概述了早期面向平行语料的语音转换及其缺陷,然后对当下面向非平行语料的语音转换的各类实现方法进行介绍和对比分析,最后对语音转换技术进行了总结和展望。

qq_61890005的博客 833

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

MySQL缓存深入理解(全网最深、最全、最实用)

看完这篇博客你能学到什么? 1、MySQL的架构 2、SQL语句在MySQL中执行的完整过程 3、MySQL缓存相关知识。掌握缓存相关参数含义。懂得MySQL缓存调优。 4、懂得MySQL缓存命中规则、失效场景。在缓存上的舍取。 5、掌握MySQL压力测试工具mysqlsalp工具的使用,能够使用mysqlsalp测试MySQL并发响应值 6、在高并发情况下,缓存频繁失效对性能的影响。 请耐心读完,对你绝对有帮助! MySQL缓存深入理解 学习MySQL缓存之前,我们首先得了解一下MySQ

緑水長流*z 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

MySQL缓存深入理解(全网最深、最全、最实用)_mysql缓存表

*开源地址:https://docs.qq.com/doc/DSmxTbFJ1cmN1R2dB **发现缓存写入次数+1发现缓存命中次数+1我们先计算一遍:缓存写入数(Qcache_inserts)为1(原来的一次)+4=5缓存命中数(Qcache_hits)为1(原来的一次)+3=4这里要注意一点,即使有的SQL查询不出来结果,也是会写入缓存的发现即使有的SQL没有查询到结果集,也会写入缓存,并且再次查询也会命中缓存。

2401_85113382的博客 787

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

mysql一级缓存和二级缓存_深入理解MyBatis中的一级缓存与二级缓存

前言先说缓存,合理使用缓存是优化中最常见的,将从数据库中查询出来的数据放入缓存中,下次使用时不必从数据库查询,而是直接从缓存中读取,避免频繁操作数据库,减轻数据库的压力,同时提高系统性能。一级缓存一级缓存是SqlSession级别的缓存。在操作数据库时需要构造sqlSession对象,在对象中有一个数据结构用于存储缓存数据。不同的sqlSession之间的缓存数据区域是互相不影响的。也就是他只能作...

weixin_31504783的博客 1593

MySQL(七)——深入理解MVCC与BufferPool缓存机制

深入理解MVCC与BufferPool缓存机制

yemuxiaweiliang的博客 360

MySQL6-深入理解MVCC和BufferPool缓存机制

MVCC机制的实现就是通过read-view机制与undo版本链比对机制,使得不同的事务会根据数据版本链对比规则读取同一条数据在版本链上的不同版本数据。面试的时候可以这么讲:MVCC机制就是通过undo版本链和read-view机制来实现的,它会在每个事务执行查询SQL的时候生成一个readView,然后通过它跟版本链对比来实现隔离性的。undo版本链就是把每个操作都记录下来,然后分配一个事务id和指针,指向之前数据的地址。read-view就是根据未提交事务的事务id数组和已提交事务的最大id生成的。

程序员句号的博客 800

java mysql 二级缓存_深入理解MyBatis中的一级缓存与二级缓存

http://blog.youkuaiyun.com/weixin_36380516/article/details/73194758先说缓存,合理使用缓存是优化中最常见的,将从数据库中查询出来的数据放入缓存中,下次使用时不必从数据库查询,而是直接从缓存中读取,避免频繁操作数据库,减轻数据库的压力,同时提高系统性能。一级缓存一级缓存是SqlSession级别的缓存。在操作数据库时需要构造sqlSession对...

weixin_42502545的博客 181

6、mysql系列-深入理解MVCC与BufferPool缓存机制

Mysql在可重复读隔离级别下如何保证事务较高的隔离性,同样的sql查询语句在一个事务里多次执行查询结果相同,就算其它事务对数据有修改也不会影响当前事务sql语句的查询结果。这个隔离性就是靠MVCC(Multi-Version Concurrency Control)机制来保证的,对一行数据的读和写两个操作默认是不会通过加锁互斥来保证隔离性,避免了频繁加锁互斥,而在串行化隔离级别为了保证较高的隔离性是通过将所有操作加锁互斥来实现的。Mysql在读已提交和可重复读隔离级别下都实现了MVCC机制。

qq_29434541的博客 950

深入理解MYSQL数据库MVCC与BufferPool缓存机制

MVCC实现MySQL事务隔离与bufferPool缓存机制详解。本文为图灵学院课程笔记,非原创非转载非翻译,特此声明。

Joanna_or_zhouzhou的博客 253

MySQL优化第七课:深入理解MVCC与BufferPool缓存机制

MVCC多版本并发控制机制 Mysql在可重复读隔离级别下如何保证事务较高的隔离性,上节课演示过,同样的sql查询语句在一个事务里多次执行查询结果相同,就算其它事务对数据有修改也不会影响当前事务sql语句的查询结果。 这个隔离性就是靠MVCC(Multi-Version Concurrency Control)机制来保证的,对一行数据的读和写两个操作默认是不会通过加锁互斥来保证隔离性,避免了频繁加锁互斥,而在串行化隔离级别为了保证较高的隔离性是通过将所有操作加锁互斥来实现的。 Mysql在读已提交和可重复读

upset_poor的博客 582

Mysql性能调优-高级篇(六)-深入理解MVCC与BufferPool缓存机制

深入理解 MVCC(多版本并发控制) 和 Buffer Pool 缓存机制,对于数据库性能优化、故障排查、系统架构设计具有深远意义,尤其在高并发、高性能要求的场景中。

weixin_41846452的博客 1154

清空+mysql+缓存_mysql如何清空缓存

mysql清空缓存的方法:使用FLUSH句法来清除缓存,为了执行FLUSH,必须有reload权限,语法为【FLUSH flush_option [,flush_option]】。相关学习推荐:mysql教程mysql清空缓存的方法:清除缓存mysql的FLUSH句法(清除缓存)FLUSH flush_option [,flush_option]如果你想要清除一些MySQL使用内部缓存,你应该使用...

weixin_28684497的博客 936
上一篇: 深入浅出用户态协议栈
下一篇: 深入探索Linux零拷贝原理
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值