数据库读写分离同步延时问题怎么解决？(1)

最新推荐文章于 2025-01-17 09:07:30 发布

原创

最新推荐文章于 2025-01-17 09:07:30 发布 · 792 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

分库分表的本质上是切分数据，是由于数据量级的提升，不对数据切分会严重影响数据库读写性能。

甚至是如果不切分，磁盘、内存、CPU无法承载这样的压力，数据库随时在奔溃的边缘。

分库分表与前三者是有本质区别的，分库分表后每一个库分片都可以采取以上三种方式的任意一种，可以是单体分片，也可以是主备分片，也可以是做了读写分离的分片。

分库分表和前三者中的一种是共生的关系。

2 读写分离设计方案

主从复制是MySQL数据库自带的功能，但是想要做读写分离就需要我们自己做一些工作配合MySQL主从同步配合使用。可选择的方案有很多。

2.1 代理

在应用程序和数据库之间增加代理层，代理层接收应用程序对数据库的请求，根据不同请求类型转发到不同的实例，实现读写分离的同时还可以实现负载均衡（读请求按照负载均衡的规则传入各个从节点）。

代理也就是借助中间件的方式，控制不同类型请求，进入不同的数据库。

目前常用的mysql的读写分离中间件有：

MySQL-Proxy

MySQL自己的一个开源项目，通过其自带的Lua脚本进行SQL判断

Atlas

Qihoo 360,在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。

MyCat
MaxScale

MariaDB 开发

Amoeba

阿里开发

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Y1567409

关注关注

22
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

数据库读写分离同步延时问题怎么解决？

SharingOfficer的博客

12-18

4102

数据库读写分离是很多公司绕不过去的一个发展阶段，从单体数据库，到主备模式，再到读写分离，分库分表。每一个阶段都能为我们解决一些问题，但也带来了新的挑战。本篇文章我们就主要研究一下数据库读写分离及其带来的问题如何解决。 1 数据库架构的发展历程首先简单介绍一下数据库架构的发展历程，基本就是单体、主备、读写分离、分库分表，下面我们分别进行介绍。 1.1 单体架构业务发展初期，数据库的压力相对较小，这时候使用单独一个库就可以。引出的问题：如果数据库出现故障，我们的业务就不能使用，只能说.

MySQL 读写分离：用 ProxySQL 实现 “读走从库，写走主库”（附延迟问题解决方案）

最新发布

lamehsl的专栏

10-30

883

电商平台通过ProxySQL实现MySQL读写分离，成功将主库QPS从8000+降至2400，CPU使用率稳定在30%。方案采用"主库写、从库读"模式，将70%查询请求分流到3个从库，解决了高并发下的锁等待问题。文章详解了ProxySQL的安装配置、读写规则设置、健康检查机制，并针对从库延迟问题提出阈值过滤、关键业务读主库、优化同步速度等解决方案。通过实际案例展示了如何将延迟从3秒降至0.1秒，同时分享连接池优化、查询缓存等企业级配置技巧，帮助读者掌握生产环境落地ProxySQL方案的关

参与评论您还未登录，请先登录后发表或查看评论

读写分离时主从复制的数据延迟如何处理

12-04

读写分离时主从复制的数据延迟如何处理,方便你快速上手，及学习。

51_说说MySQL读写分离的原理？主从同步延时咋解决？.zip

11-13

https://mp.youkuaiyun.com/console/uploadResources?spm=1011.2124.3001.4171

使用MySQL Proxy解决MySQL主从同步延迟

06-03

1222

MySQL的主从同步机制非常方便的解决了高并发读的应用需求，给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的，而且由于服务器负载、网络拥堵等方面的原因，Master与Slave 之间的数据同步延迟是完全没有保证的。短在1秒内，长则几秒、几十秒甚至更长都有可能。由于数据延迟问题的存在，当应用程序在Mast...

mysql读写分离延迟问题_MySQL读写分离后的延迟解决方案

weixin_28759987的博客

01-19

1179

数据库——MySQL读写分离后的延迟解决方案背景：根据上图可以看到QPS：10.73k,实际上真实的并发大量数据到达的时候，我这里最高的QPS是将近15k.而目前单个数据库分片(实例)4CPU8G内存的配置下，最高的性能是7k的QPS。基于上篇我进行了分库分表是对于性能有很大的提高，分库分表实践和中间件的引申我这里讲解的例子是目前4主8从库(12个实例)，以下每个实例都会称为分片。单个分片配置my...

数据库——MySQL读写分离后的延迟解决方案

小诚信驿站

05-22

7664

背景：根据上图可以看到QPS：10.73k,实际上真实的并发大量数据到达的时候，我这里最高的QPS是将近15k.而目前单个数据库分片（实例）4CPU8G内存的配置下，最高的性能是7k的QPS。基于上篇我进行了分库分表是对于性能有很大的提高，分库分表实践和中间件的引申我这里讲解的例子是目前4主8从库（12个实例），以下每个实例都会称为分片。单个分片配置mysql版本5.7.19（一会说明不...

mysql读写分离延迟怎么解决

计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。

11-17

401

mysql如何做读写分离啊？我刚给公司做完mysql的主从读写分离 先给你个思路第一步：先做mysql的主从(Master/SlaveReplication)，实现数据同步第二部：通过Amoeba来实现读写分离，也可以通过mysqlproxy(比较麻烦)。我的环境是两台装windowsserver200...

28 | MySQL读写分离之主从延迟解决方案（主从延迟问题有救了）

风雨一更

06-04

814

解决Mysql读写分离数据延迟

chunyangfan2997的博客

07-27

395

使用MySQL Proxy解决MySQL主从同步延迟 MySQL的主从同步机制非常方便的解决了高并发读的应用需求，给Web方面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的，而且由于服务器负载、网络...

数据库读写分离这个坑，让刚入职的我一脸懵逼！

十指波课堂的博客

12-03

935

今天分享一下以前入职现在公司第一次发布项目遇到的一个问题，一个数据库读写分离的坑。前言事情是这样的，刚入职的时候接到了这样的一个业务需求：每个支付通道支付失败的时候都会返回特定的错误码，业务内部需要将通道特定的错误码转义成内部的错误码，这样对外就可以统一返回我们自己的错误码。这个需求其实不难，当时设计的系统架构如下：新增规则的流程简单分为三步：业务人员通过管理后台新增映射规则数据库新增、修改这条映...

MySQL读写分离与主从延迟

qq_44300280的博客

08-01

1059

MySQL读写分离与主从延迟

处理读写分离延迟

xsgnzb的专栏

12-20

825

要判断主从严格一致的成本是很高的，用到GTID来判断主从延迟，对代码的侵入性很高，而且要额外的查询GTID和判断GTID是否同步，性能也会受到影响。如果业务场景对一致性要求很高，为了简化编程，还不如直接查主库。如果对一致性要求不高，直接读从库，或者等待1秒也是不错的方式。

MySQL 中读写分离数据延迟

Gefangenes的博客

08-24

855

MySQL 中读写分离是经常用到了的架构了，通过读写分离实现横向扩展的能力，写入和更新操作在源服务器上进行，从服务器中进行数据的读取操作，通过增大从服务器的个数，能够极大的增强数据库的读取能力。MySQL 中的高可用架构越已经呈现出越来越复杂的趋势，但是都是才能够最基本的一主一从演化而来的，所以这里来弄明白主从的基本原理。首先来弄明白主从和主备,以及双主模式之间的区别双主有两个主库，每个主库都能进行读写，并且两个主库之间都能进行数据的同步操作。主从。

读写分离遇到主从延迟怎么办？

weixin_51291483的博客

01-17

578

比如历史订单的査询、比如数据报表的生成、比如数据对账的査询、比如非关键业务的査询，比如评论信息等，这些都是可以延迟的读，这些读的话就可以完全从备库走。但是这个方案我不太建议，因为这种一旦出现延迟，也会导致你的主库会有大量的请求过去，造成很大的压力的。啥意思呢，就是我的读取操作，默认读从库，但是如果我从库读取的时候没读到，那我为了避免因为数据延迟导致的，那么就再进行一次从主库读取。一般来说，虽然我们做了读写分离，但是也不是无脑分的，我们还会把读请求分成两类，-类是可以接受延迟的读，一类是不能接受延迟的读。

《MySQL实战45讲》——学习笔记28 “读写分离/主从延迟的解决方案/GTID“

娜娜米的博客

02-08

1297

读写分离架构下，发生主从延迟时，可能出现主库已落表而从库因为主从延迟还查不到最新数据的问题；这种"在从库上读到过期数据"的现象，在本文里暂且称之为"过期读"；本篇主要介绍从业务角度和MySQL架构角度处理主从延迟问题的一些方案，包括：读写分离架构、强制路由主库方案、延迟请求从库方案、设计库表时采用分库分表方案、判断是否存在主从延迟方案、GTID的概念，以及判断指定的事务是否已经在从库完成执行的方案（等主库位点/GTID方案）；

如何解决 redis 和数据库数据存在的不同步问题？

06-02

### Redis与数据库数据一致性解决方案在实际应用中，Redis作为缓存层，通常与关系型数据库（如MySQL）配合使用。然而，由于缓存和数据库之间的操作并非原子性，可能会导致数据不一致的问题。以下是几种常见的解决方案，以确保Redis与数据库之间的数据一致性。 #### 1. 双删策略双删策略是一种简单且有效的解决方法，尤其适用于读写分离架构下的主从同步延迟问题。其核心思想是：在请求A完成写操作后，删除缓存；同时，在请求B查询缓存时，若发现缓存为空，则先查询数据库，并在查询到数据后再重新写入缓存[^3]。为了进一步减少主从同步延迟带来的影响，可以在主从同步的延时时间基础上增加几百毫秒的等待时间，从而降低旧值写回缓存的概率。 #### 2. 订阅Binlog日志通过订阅MySQL的Binlog日志，可以实时捕获数据库中的变更事件，并将这些变更同步到Redis中。阿里开源的Canal框架正是基于这一原理实现的。Canal模仿了MySQL Slave的备份请求机制，能够高效地解析Binlog并将其转换为可理解的事件流[^2]。这种方式不仅提高了数据同步的实时性，还减少了对业务逻辑的侵入性。 #### 3. 消息队列重试机制对于某些对一致性要求不高的场景，可以采用消息队列的方式来实现重试机制。具体做法是：在更新数据库的同时，将需要同步的操作发送到消息队列中。如果Redis同步失败，则可以通过定时任务或单独线程进行重试[^4]。这种方案的优点在于解耦了业务逻辑与缓存同步逻辑，但缺点是可能存在一定的延迟。 #### 4. 数据库事务结合缓存在某些情况下，可以通过数据库事务来保证Redis与数据库的一致性。例如，在执行写操作时，先将数据写入数据库，然后在同一事务中更新Redis缓存。虽然这种方法能够提供强一致性保障，但由于Redis本身并不支持事务，因此其实现复杂度较高，且性能可能受到一定影响[^1]。 #### 示例代码：双删策略以下是一个简单的双删策略实现示例： ```python import time def update_data(key, value): # 删除缓存 redis.delete(key) # 写入数据库 mysql.update(key, value) def query_data(key): # 查询缓存 value = redis.get(key) if not value: # 查询数据库 value = mysql.query(key) if value: # 主从同步延迟处理 time.sleep(0.5) # 延迟500ms value = mysql.query(key) redis.set(key, value) return value ``` ### 注意事项 - 在选择具体方案时，需根据业务场景对一致性的要求进行权衡。 - 如果对一致性要求极高，建议优先考虑订阅Binlog日志的方式。 - 对于低一致性要求的场景，可以采用消息队列重试机制以简化实现。