MySQL主从同步相关-主从多久的延迟?

MySQL主从不一致问题相关处理 某业务采取mysql的主从架构,但因为存储的问题,导致备库一直无法存储,数据同步一致性问题一直也未恢复,某次安全检查要求完成主备倒换演练,必须限期恢复主备,但是在恢复过程中,同步显示正常一段时间后,便会出现sql线程异常,主备数据不一致导致的同步错误情况。主数据库上面设置的max_allowed_packet比从数据库大,当一个大的sql语句,能在主数据库上面执行完毕,从数据库上面设置过小,无法执行,导致的主从不一致。根据上面的NR行数,查看附近的行,定位数据不一致的地方,后续手动补全。 阅读详情

这次单独调查一下主从延迟的时间。这里说的主从延迟,并不是指“从库更新性能跟不上主库”, 而是“一个命令从主库更新完成到从库更新完成的延迟时间。

 

基本流程:

对于每一个连上来的从库,主库都有一个client线程与之对应。

先看主从的基本数据流

1、客户端SQL更新命令

2、主库执行

3、主库写binlog

4、主库client线程读binlog发送给从库的io线程

5、从库io线程写盘(relay-log)

6、从库sql线程读relay-log

7、执行更新。

 

   这里有涉及到两个写盘,主库binlog和从库的relaylog(3、5)。不过不用担心不停扫描文件造成的延迟,因为读文件的线程是在同一个进程内,每次写完都会广播,所以虽然看上去是异步,实际上延迟并不大。

    我们主要考察步骤2完成瞬间到7开始执行之前的延时。

 

   实验方法――一级主从

   实际应用中主从库机器应该是分开的,这里也讨论这种情况(同机房,不同机器)

可以想象延迟很小,因此在不同机器上输出时间还需要考虑机器之间的时间同步。设计流程如下:

1、机器A上的MySQL S设置为机器B上的MySQL M的从库

2、在A上有一个简单客户端C,向M发起一个insert操作,这个操作会被同步到S。

3、在C执行mysql_real_query返回时输出当前系统微秒时间 t1

4、在S上的引擎回调接口write_row入口处输出当前系统微秒时间 t2

   则 t2- t1的值是我们需要的结果。

 

 

 

   实验方法――二级主从

   项目中担心多个从库连接一个主库,影响主库性能,因此还要在实验二级级联主从的延迟时间。

   这种结构下,在第一级从库上增加了一次写盘转发 (sql执行更新后写本地binlog),

 

 

   实验结果

   一级主从 50~100 us

   二级主从 1.1~1.2 ms


MySQL 主从同步延时问题 MySQL 优化,主从优化 阅读详情

相关推荐

STM32智能头盔DIY全攻略:从心率监测到跌倒报警的完整实现

本文提供了基于STM32的智能头盔完整DIY实现方案,涵盖从心率监测到跌倒报警的核心功能。详细解析了系统设计、硬件搭建、软件算法及系统联调,重点介绍了STM32主控、MAX30102心率传感器和MPU6050姿态传感器的应用,并分享了跌倒检测算法与功耗优化等实战经验,为嵌入式开发与物联网创新项目提供全面指导。

sony5的博客 503

Mysql主从基本原理,主要形式以及主从同步延迟原理 (读写分离)导致主库从库数据不一致问题的及解决方案

Mysql主从基本原理,主要形式以及主从同步延迟原理 (读写分离)导致主库从库数据不一致问题的及解决方案一、主从数据库的区别从数据库(Slave)是主数据库的备份,当主数据库(Master)变化时从数据库要更新,这些数据库软件可以设计更新周期。这是提高信息安全的手段。主从数据库服务器不在一个地理位置上,当发生意外时数据库可以保存。(1) 主从分工其中Master负责写操作的负载,也就是说一切写的操...

helloxiaozhe的博客 4万+

从0到1做AI漫剧:即梦+豆包+剪映+红果全流程实战

AI视频生成正在重塑内容创作的生产方式,它让原本高门槛的影视制作,变成了一条由文本、画面、剪辑与分发环节协同的流水线。理解其底层原理,在于将大模型的语义理解、图像生成与视频合成能力,与工程化的流程管理相结合,从而实现从创意到成片的自动化输出。这种技术的价值,不仅体现在降低制作成本,更在于让个人创作者能够独立完成高质量短剧,并快速迭代内容。在短剧、短视频、广告营销等场景中,利用即梦生成画面、豆包编写剧本、剪映完成剪辑、红果进行分发的组合,已成为一种被广泛验证的实践路径。本文聚焦AI漫剧制作,从环境准备、分镜设

weixin_34072637的博客 386

100%解决Mysql主从同步延迟问题

简单易懂,面试就说这个必过,Let‘s go! 引用“架构师之路”微信公众号的两张图和思想。 强制读主过于粗暴,毕竟只有少量写请求,很短时间,可能读取到脏数据。有没有可能实现,只有这一段时间,可能读到从库脏数据的读请求读主,平时读从呢? 可以利用一个缓存记录必须读主的数据。 如上图,当写请求发生时: (1)写主库 (2)将哪个库,哪个表,哪个主键三个信息拼装一个key设置到cache里,这条记录...

wangkofnew的博客 439

OpenHarmony系统参数权限配置避坑指南:从param get/set失败到SELinux标签实战

本文深入解析OpenHarmony系统参数权限配置的常见问题与解决方案,涵盖DAC和SELinux双重权限控制机制。通过实战案例演示如何配置`param get/set`权限,解决'Permission denied'错误,并提供三方应用访问参数的安全方案,帮助开发者高效完成系统调试与优化。

weixin_27013291的博客 450

软件产品国际化:前后端及App多语言版本解决方案(超详细实现过程)

多语言版本解决方案是应对全球化趋势的关键策略,它通过构建灵活且可扩展的架构,支持软件产品在不同语言和文化环境下的顺畅运行与展示。此方案涵盖了前端多语言界面实现、后端多语言数据处理及大数据环境下的多语言支持等多个层面,确保公司能够高效地推出适应全球用户多样化需求的软件产品。在前端多语言界面实现方面,解决方案采用了国际化与本地化的结合方法。国际化过程确保软件的功能和代码设计能够处理多种语言和文化习惯,而本地化则针对特定地区进行界面和内容的调整。

大模型大数据攻城狮的专栏 2756

mysql主从同步默认延迟_减少mysql主从数据同步延迟问题的详解

基于局域网的master/slave机制在通常情况下已经可以满足'实时'备份的要求了。如果延迟比较大,就先确认以下几个因素:1. 网络延迟2. master负载3. slave负载一般的做法是,使用多台slave来分摊读请求,再从这些slave中取一台专用的服务器,只作为备份用,不进行其他任何操作,就能相对最大限度地达到'实时'的要求了另外,再介绍2个可以减少延迟的参数–slave-net-tim...

weixin_42515739的博客 297

C#上位机实战:工业产线数据采集与监控系统开发(附源码思路)

模块化设计:四层架构清晰,各模块独立可替换,便于后期维护与扩展;稳定性强:支持断线重连、异常重试、并发采集,满足工业7×24小时运行需求;实用性高:覆盖产线监控核心功能,可视化组件适配工业场景,操作简单;源码可复用:通信类、采集服务、报警管理器等可直接复制到其他上位机项目。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1656

mysql主从延迟设置

延迟复制背景: 1.1)系统已上线,风控及灾备考虑,单机数据库缺陷风险高; A:数据库目前是主从结构,为避免误操作,所以从库是延迟15分钟,如果发现误操作可以在15分钟内暂停从库同步, 并从从库获取相关数据修复被误操作的主库。并在每天凌晨3点非业务高峰时间对mysql-master进行备份。 1.2)后续数据分析可能连接从库获取数据 A:数据分析需要确认是否有实时性要求,如果实时性要求目前延迟15分钟可能会影响分析, 该延迟时间可以根据航天方具体要...

eagle89的专栏 1730

Windows2008使用-解决漏洞-CVE-2010-2730

随着硬件的升级,操作系统也逐渐进行了版本更新。目前阶段,Windows2016Server、Windows2022Server逐渐成为了以Windows系列的服务器平台系统。对于有些应用而言,由于其业务的固定,可能仍只能运行在Windows2008Server或者Windows2012Server上。有时候我们为安全需要,需要将相关的操作系统涉及的漏洞做修复。最近碰到在一个Windows2008R2 的操作系统漏洞CVE-2010-2730,一顿操作,终于找到了合适的方案,这里分享给大家。

mystonelxj的博客 2316

R语言LASSO回归作图为什么X轴使用-log(λ)而不是log(λ),如何转化为log(λ)?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 1021

php mysql主从延迟_MySQL主从同步相关-主从多久的延迟?

这次单独调查一下主从延迟的时间。这里说的主从延迟,并不是指ldquo;从库更新性能跟不上主库rdquo;, 而是ldquo;一个命令从主这次单独调查一下主从延迟的时间。这里说的主从延迟,并不是指“从库更新性能跟不上主库”, 而是“一个命令从主库更新完成到从库更新完成的延迟时间。基本流程:对于每一个连上来的从库,主库都有一个client线程与之对应。先看主从的基本数据流1、客户端SQL更新命令2、主...

weixin_31832681的博客 229

【SECS】初识SECS协议

项目标题的第一位和第二位告诉下面有多少字节表示项目的长度。而项目的长度是指项目标题后面的字节数,这里第一个字节就是项目标题。1个字节可以表示的最大长度是0-255,所以只要项目标题后面的字节数小于等于254,都是0x01。

weixin_48618536的博客 1648

mysql主从同步 时间_MySQL主从同步相关-主从多久的延迟?

转载自:http://dinglin.iteye.com/blog/1266194这次单独调查一下主从延迟的时间。这里说的主从延迟,并不是指“从库更新性能跟不上主库”, 而是“一个命令从主库更新完成到从库更新完成的延迟时间。基本流程:对于每一个连上来的从库,主库都有一个client线程与之对应。先看主从的基本数据流1、客户端SQL更新命令2、主库执行3、主库写binlog4、主库client线程读...

weixin_39642990的博客 109

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

高级程序员必知必会,一文详解MySQL主从同步原理,推荐收藏

MySQL主从同步是基于Bin Log实现的,而Bin Log记录的是原始SQL语句。Bin Log共有三种日志格式,可以binlog_format配置参数指定。常见的主从同步架构有一主多从、双主多从。 一般是主库负责所有读写请求,而从库只负责容灾恢复和冗余备份。如果做了读写分离的话,主库负责写请求,从库负责读请求,可以提升数据库性能。一般是主库1负责所有读写请求,主库2不对外提供服务,只用来容灾恢复。相比一主多从架构,双主多从架构可以减少宕机时间,更快恢复数据库可用状态。当主库数据发生变更时,写入本地Bi

一灯架构的专栏 5829

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

MySQL 主从同步延迟的原因及解决办法

Mysql主从基本原理,主要形式以及主从同步延迟原理 (读写分离)导致主库从库数据不一致问题的及解决方案   一、主从数据库的区别 从数据库(Slave)是主数据库的备份,当主数据库(Master)变化时从数据库要更新,这些数据库软件可以设计更新周期。这是提高信息安全的手段。主从数据库服务器不在一个地理位置上,当发生意外时数据库可以保存。 (1) 主从分工 其中Master负责写操作的负...

hao_yunfeng的博客 8万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

MySQL 主从同步延迟的原因及解决方法

MySQL 主从同步延迟的原因及解决方法 Mysql主从基本原理,主要形式以及主从同步延迟原理 (读写分离)导致主库从库数据不一致问题的及解决方案 一、主从数据库的区别 从数据库(Slave)是主数据库的备份,当主数据库(Master)变化时从数据库要更新,这些数据库软件可以设计更新周期。这是提高信息安全的手段。主从数据库服务器不在一个地理位置上,当发生意外时数据库可以保...

weixin_44379720的博客 1195

MySQL 中如何解决深度分页的问题?什么是 MySQL 的主从同步机制?它是如何实现的?如何处理 MySQL 的主从同步延迟?

MySQL 的主从同步机制是一种将一个或多个从库(Slave)与主库(Master)建立连接,实现从库实时获取主库数据的机制。主库负责处理所有数据的增删改操作,而从库则负责读取数据,通过将主库的数据同步到从库,实现主从数据一致,已达到负载均衡、高可用等目的。

shouji6175的博客 1056

mysql 主从同步不一致_MySQL主从同步延迟的原因及解决办法

php中文网最新课程每日17点准时技术干货分享Mysql主从基本原理,主要形式以及主从同步延迟原理 (读写分离)导致主库从库数据不一致问题的及解决方案一、主从数据库的区别从数据库(Slave)是主数据库的备份,当主数据库(Master)变化时从数据库要更新,这些数据库软件可以设计更新周期。这是提高信息安全的手段。主从数据库服务器不在一个地理位置上,当发生意外时数据库可以保存。(1) 主从...

weixin_35284593的博客 1499
上一篇: 主从复制中MASTER_POS_WAIT函数的应用
下一篇: MySQL数据库的IO操作
笑天居士
博客等级 码龄24年 292粉丝 136原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值