多节点下嵌入式Binlog框架引发的线上故障

MySQL MGR 高可用集群:从 “搭建” 到 “故障切换”,企业级方案落地(附脑裂防护) 本文介绍了MySQL Group Replication(MGR)高可用方案的原理与实战应用。通过对比传统主从复制与MGR集群的差异,详细说明了MGR如何通过多数派协议自动完成主库切换,并有效防止数据不一致问题。文章包含三节点MGR集群搭建的完整步骤、主库宕机自动切换测试、常见问题解决方案及优化建议,适用于支付系统等核心业务场景。MGR能够实现3秒内的自动故障切换,相比传统方案20分钟的手动切换显著提升了业务连续性。最后强调MGR适合中小规模核心业务系统,但不适合跨机房高延迟环境。 阅读详情

01 引言

上一节介绍Binlog的两类框架,我们公司项目中两种都使用了,聊一聊其中嵌入式框架Binlog4j在多节点下引发的故障。该故障被被认定为A1级故障,必须当天要解决。

02 框架回顾

Binlog4j这个框架在之前的文章中介绍过,就不细聊了。想要深入了解的可以直接去Gitee上了解。

Gitee地址:https://gitee.com/dromara/binlog4j

虽然该项目已经停更2年了,但是易用性值得大家去瞅瞅。

2.1 依赖

<dependency>
   <groupId>com.gitee.Jmysy</groupId>
   <artifactId>binlog4j-core</artifactId>
   <version>latest.version</version>
</dependency>

2.2 客户端创建

public static void main(String[] args) {
        
    BinlogClientConfig clientConfig = new BinlogClientConfig();
    clientConfig.setHost("127.0.0.1");
    clientConfig.setPort(3306);
    clientConfig.setUsername("root");
    clientConfig.setPassword("taoren@123");
    
    // 保证客户端唯一的关键属性
    clientConfig.setServerId(1990);

    IBinlogClient binlogClient = new BinlogClient(clientConfig);

    binlogClient.registerEventHandler(new IBinlogEventHandler() {

        @Override
        public void onInsert(BinlogEvent event) {
            System.out.println("插入数据:{}", event.getData());
        }

        @Override
        public void onUpdate(BinlogEvent event) {
            System.out.println("修改数据:{}", event.getData());
        }

        @Override
        public void onDelete(BinlogEvent event) {
            System.out.println("删除数据:{}", event.getData());
        }

        @Override
        public boolean isHandle(String database, String table) {
            return database.equals("pear-admin") && table.equals("sys_user");
        }
    });

    binlogClient.connect();
}

2.3 故障出现的关键代码

 clientConfig.setServerId(xxx);

serverId表示当前客户端的唯一标识,如果serverId不同,将是不同的客户端,当Binlog产生时,不同的客户端都触发IBinlogEventHandler。

为了监听的消息不被重复消费,保持幂等性。我们需要限制同一套在不同的节点只要有一个客户端能够处理消息即可。

03 故障重现

我们先来看看我们项目的写法:

3.1 代码解释

看到这块代码大家可能会比较疑惑,为什么会这么设计。所谓存在即合理,必然是解决一些问题,后面会单独来说。

Redis的key是常量+环境,如:binlog:listen:serverId:prod

  • 常量:binlog:listen:serverId:
  • 环境:包括开发(dev)、测试(int)、预发布(stage)、生产(prod)等

如果不存在,则设置serverId为一个随机数,然后设置有效期为10分钟,并建立连接;如果存在直接重置有效期为10分钟。

通过简易的分布式锁来设置serverId。

3.2 解决的问题

因为Binlog端是嵌在业务代码中的,所以有多个节点,就会实例化多次。我们实际生产中至少应该是双节点或者更多节点,已达到负载均衡的目的。

因为我们每台节点的启动时间大致在3分钟左右,两个节点的顺序启动时间大致6分钟左右。所以10分钟之内,可以保证只有一个节点可以正常设置serverId,来作为专门解析Binlog的客户端。

简单来说就是保证一个节点作为客户端使用。

3.3 故障复现

上面的代码也是运行了一年多没有出现问题,但是特殊的场景,悄然的触发这个故障。

某个夜黑风高的晚上,我们发布了带有Binlog客户端代码的业务代码。结果发布速度很快,5分钟就发布好了。而我们的运维团队,为了验证一键回滚的脚本,10分钟之内完成回滚的测试。业务代码也是没有问题的。

风平浪静,必有杀招。大家都快快乐乐的回家了,直到第二天中午,有客户反馈说看不到推送的内容。经过排查代码得知,推送的内容是通过Binlog监控的节点触发的。原本以为只是个别没有触发,才发现凡是涉及监听Binlog的都没有数据,那就是Binlog出问题了,瞬间觉得天塌了。Binlog监听的可是实时数据呀。

3.4 故障分析

想必大家也猜到了,就是分布式锁导致的问题。因为有效期是10分钟,凡是10分钟的启动都不会触发Binlog客户端的连接。

而一键回滚的脚本就是在10分钟之内操作的,Redis的Key并没有过期,所以不会触发binlogClient.connect()。Binlog客户端也就失效了。这才导致问题的发生。

04 设计溯源

Binlog4j这个框架是我引入的,当初的设计也比较简单直接使用的是数据库名称的hashCode,相当于一个常量。

clientConfig.setServerId(database.hashCode());

即便的多节点,因为ServerId相同,最终也会只有一个客户端有效。这种方式在生产环境没有问题,但是在我们测试环境又会存在问题。

我们测试环境有5套,共享一个数据库。按照我设计的模式,5套环境最终只会有一个环境的一个节点的客户端有效。但是,我们很多时候都是并行开发,可能需要两个或多个环境同时需要可用的Binlog客户端。我的这种设计就无法满足了。

基于上面的缺陷,最终才会演变成Redis分布式锁的结果。

为了应对突发状况,我们还设计了手动建立连接以及手动关闭的开关。

05 小结

为什么之前会说,独立部署的Binlog客户端可能会更好些呢?原因就在这里。因为是独立部署的,不会收到发布的影响,还可以复用。铁子们,有没有遇到类似的问题呢?

解耦主库负载,赋能数据流转:MySQL Binlog Server 核心指南 Binlog Server本质是解耦主库与从库间的Binlog传输,通过代理层实现负载分流、架构简化和异构集成。追求高可用 →KingBus;MariaDB环境 →MaxScale;实时数据管道 →mbinlogmq。在云原生与微服务架构下,Binlog Server正逐步成为MySQL数据生态的核心枢纽。 阅读详情

相关推荐

深入解析MySQL主从复制:GTID与binlog的核心差异与应用场景

本文深入解析MySQL主从复制中GTID与binlog的核心差异与应用场景,详细介绍了GTID的工作原理、优势以及与传统binlog复制的对比。通过实际案例和性能分析,帮助开发者选择适合的复制方案,提升数据库高可用性和运维效率。

weixin_29309475的博客 87

mysql的binlog是什么

启用必做:生产环境必须启用 binlog,否则数据丢失后无法恢复,也无法实现主从复制;格式选择:推荐使用ROW或MIXED格式,避免STATEMENT格式的主从复制一致性问题;空间管理:配置自动清理策略(或),定期检查磁盘空间;安全备份:重要业务的 binlog 需单独备份(如同步到异地存储),避免日志与数据同时丢失;主从注意:主从复制场景中,确保从库同步进度后再清理主库日志,避免复制中断。

埃泽漫笔 932

Ubuntu 16.04 部署 MySQL NDB Cluster 多节点高可用集群实战

MySQL Cluster(NDB Cluster)是一种面向毫秒级故障恢复、无单点故障的分布式内存数据库系统,其核心原理基于同步复制、哈希分片与三层解耦架构(管理节点、数据节点、SQL节点)。区别于传统主从复制,它通过内存驻留+多副本机制实现强一致性与自动分片,技术价值在于支撑电商大促、金融交易等超低延迟、高并发场景。典型应用场景包括跨机房容灾部署、实时风控引擎和在线扩容型OLTP系统。本文聚焦 Ubuntu 16.04 环境下 NDB Cluster 的生产级落地,深度解析内核调优、config.ini

weixin_33842304的博客 772

基于Binlog与MQ实现MySQL到Elasticsearch秒级数据同步架构详解

在分布式系统架构中,数据同步是确保多数据源一致性的核心挑战。其基本原理是通过捕获源数据库的变更事件,经过可靠管道传递,最终在目标存储中实现状态同步。这项技术的核心价值在于解耦业务逻辑与数据分发,保障系统在高并发下的最终一致性。典型的应用场景包括电商商品搜索、实时数据分析看板和日志聚合分析等。本文聚焦于如何构建一个稳定、可观测的实时同步管道,通过整合MySQL Binlog变更数据捕获(CDC)、消息队列(MQ)解耦与削峰,以及消费者幂等写入等关键技术,解决生产环境中常见的数据延迟与一致性问题,实现秒级数据同

weixin_30402343的博客 333

大数据环境下主从数据库隐式转换问题解决方案

关键步骤根因定位:通过日志分析、元数据对比锁定不一致源头。大数据优化:分片恢复、并行处理、分布式校验。自动化修复:结合Binlog回放与工具生成补偿脚本。预防建议备份时显式处理特殊值(如-0定期使用同步主从数据。在分布式环境中采用最终一致性模型+异步校验。

百态·数智思维 | 聚焦大数据、量化与未来AI 926

MySQL-MHA高可用架构搭建

MHA(Master High Availability)是MySQL经典开源故障自动切换方案,分为MHA Manager管理节点、MHA Node数据库节点,适配一主多从MySQL架构,解决单机主库宕机导致业务中断问题。一、核心整体作用1. 故障自动监测:7×24小时持续探测主库存活状态,区分网络抖动、临时卡顿、真实宕机;2. 主库故障自动转移:主库宕机无需人工值守,自动选最优从库提升为新主;3. 数据最大程度保证一致:补齐各从库差异日志,所有从库数据对齐新主,避免多节点数据错乱;

weixin_50501942的博客 181

PhxSQL核心架构解析:Paxos如何保证MySQL数据强一致性

PhxSQL是一个保证主从数据一致性的高可用MySQL集群解决方案,它通过创新性地将Paxos算法与MySQL数据库深度融合,解决了传统主从复制中的数据不一致问题。本文将深入解析PhxSQL的核心架构,揭示Paxos协议如何在分布式环境下确保MySQL数据的强一致性,帮助新手用户理解这一高可用解决方案的工作原理。 ## 一、PhxSQL架构概览:构建高可用MySQL集群的核心组件 PhxSQL

gitblog_00760的博客 482

提示工程高可用架构的数据同步:架构师教你实现实时一致性的3个方案(附Canal案例)

我是张三,资深软件架构师,10年高可用架构经验,专注于数据同步与AI架构。曾主导过5个千万级用户的AI项目,擅长用“简单技术解决复杂问题”。我的公众号“架构师笔记”会分享更多实战经验,欢迎关注。留言互动:你在提示工程数据同步中遇到过什么坑?欢迎在评论区分享,我们一起讨论解决方案!

AI开发架构师 1092

【Canal】实现原理和搭建方案

canal.adapter,相当于canal的客户端,会从canal-deployer中获取数据,然后对数据进行同步,可以同步到MySQL、Elasticsearch和HBase等存储中去。(1)全局配置:conf/application.properties(也可以是conf/application.yml,连接 Canal-Server、配置同步目标、全局参数)下载canal.deployer,可以直接监听MySQL的binlog,把自己伪装成MySQL的从库,只负责接收数据,并不做处理。

weixin_44823875的博客 961

物理专业书库模板(1):物理学书单(适合物理专业本科生、研究生、科研工作者、物理爱好者...)

物理专业书库模板(1):物理学书单(适合物理专业本科生、研究生、科研工作者、物理爱好者...) 求赞求喜欢求分享,建议关注,防止文章丢失。

hepyang的博客 2181

Linux运维踩坑实录:手把手教你修复LVM中PV显示[unknown]的诡异问题

本文详细解析了Linux运维中LVM物理卷(PV)显示[unknown]的故障现象及修复方法。通过分析问题根源、提供标准修复流程和特殊场景处理方案,帮助运维人员快速解决VG容量异常、PV状态丢失等问题,并分享预防措施与最佳实践,确保LVM存储系统的稳定运行。

weixin_26869081的博客 352

终极指南:Canal 1.1.x架构革命—从单机部署到云原生的演进之路

Canal是由阿里巴巴开源的分布式数据库同步系统,专注于MySQL数据库的日志解析和实时增量数据订阅与消费,广泛应用于数据库变更消息捕获、数据迁移和缓存更新等场景。随着企业业务的快速增长,传统单机部署已难以满足高可用、弹性扩展的需求,Canal 1.1.x版本带来了架构上的重大革新,实现了从单机到云原生的跨越式发展。 ## 🌟 Canal架构演进的核心驱动力 在大数据时代,企业对数据同步的实

gitblog_00707的博客 1097

ThingsBoard入门实战(二):ThingsBoard 设备接入

文章目录ThingsBoard 设备接入一、设备配置/设备类型二、设备三、设备接入HTTPCOAPMQTT四、下一步 ThingsBoard 设备接入 设备接入并不一定需要真正的设备,我们可以通过程序。或者命令来模拟设备,向平台发送信息。 这节我们先为用户分配一个设备,然后通过模拟设备命令更新设备的状态(遥测值)。 一、设备配置/设备类型 添加一个叫"路灯"的设备配置。 设备配置听起来比较抽象,可以认为是设备类型或者是设备类型的配置。实际上,ThingsBoard 中很多时候让选择设备类型,就是选的这个。

AIGC搞起 1万+

彻底解决MySQL误操作:MyFlash深度剖析与完整指南

MySQL数据误操作是企业数据库运维中最令人头疼的问题之一。一次不经意的DELETE或UPDATE可能造成数百万条数据丢失,传统备份恢复方案耗时漫长,业务中断成本高昂。本文将深度解析美团点评开源的MyFlash工具,展示如何通过精准的binlog解析技术实现任意时间点数据回滚,为数据库运维提供强有力的安全保障。 **核心关键词**:MySQL数据回滚、binlog解析、MyFlash、误操作恢复

gitblog_00713的博客 334

魔兽世界怀旧服宏命令全解析:从自动换装到智能判定,老玩家才知道的黑科技

本文全面解析魔兽世界怀旧服宏命令的高级应用,从自动换装到智能判定,揭秘老玩家专属的黑科技技巧。深入探讨怀旧服特有的宏命令机制,包括施法队列、装备切换系统和职业专属技巧,帮助玩家在经典旧世版本中提升战斗效率。

weixin_29230865的博客 741

基于Python的MGWR多尺度地理加权回归模型

多尺度地理加权回归(MGWR)变量之间的关系在地理空间上不是均一的,所有特征变量的影响都在不同的空间范围(带宽)内变化,某些变量可能表现出局部性影响(小带宽),某些变量可能表现出全局性影响(大带宽),通过优化每个特征变量的带宽,捕捉到空间关系的多尺度特性,得到更细致的模型解释。

weixin_61965078的博客 3858

电商系统MySQL集群安装实战:从单机到高可用

比如,如果你写的是一个带有Web界面的数据库监控工具,或者一个管理配置的前端页面,在InsCode上完成开发后,真的可以做到一键部署上线,瞬间就能得到一个可公开访问的链接,用来演示或测试非常方便。我们原有的电商系统使用的是单机MySQL,随着业务量增长,读压力越来越大,偶尔的数据库故障也会导致整个服务不可用。整个过程踩了不少坑,也积累了一些实战经验,今天就来分享一下我们是如何通过自动化工具,一步步搭建起一个稳定、高可用的MySQL集群的。整个从单机到集群的升级过程,让我意识到一个顺手的工具平台是多么重要。

GoldEagle19的博客 25

Claude Code+Cursor+Claude 4三剑合璧!5步搞定Magentic-UI的OAuth2.0集成,开发效率飙升500%,新手秒变全栈工程师

本文详细介绍了如何利用Claude Code、Cursor和Claude 4三款AI工具高效集成Magentic-UI的OAuth2.0认证系统。通过5个步骤的实战演练,开发者可快速完成从环境搭建、项目分析、代码生成到前端集成的全过程,显著提升开发效率。文章还提供了JWT令牌管理、安全配置及常见问题解决方案。

weixin_29234509的博客 458

MySQL八股文45问:索引、事务、主从复制全链路解析

在数据库技术栈中,索引设计、事务隔离与主从复制是衡量开发者内功的核心标尺。B+树如何支撑高效范围查询?MVCC如何实现读写不互斥?redo log、undo log与binlog又如何共同保障崩溃恢复与数据一致性?这些底层原理不仅决定SQL性能的上限,更直接影响高并发场景下的系统稳定性。从一条SQL的执行流程出发,理解优化器、执行计划、锁机制与复制延迟的联动关系,是排查慢查询、死锁、主从不一致等线上问题的根本方法。无论是准备面试还是落地工程实践,掌握索引失效的典型场景、事务隔离级别的真实差异、读写分离的边界

weixin_30444105的博客 300

K8s(二十一):在 Kubernetes 集群中部署 MySQL8.0 高可用集群(1主2从)

🔴 K8s(二十一):在 Kubernetes 集群中部署 MySQL8.0 高可用集群(1主2从)

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 3万+

〖Python WEB 自动化测试实战篇⑤〗- selenium 元素定位详解 - (八大元素定位方式)

测试对象的定位和操作是我们利用 selenium 编写自动化脚本和 webdriver 的核心内容,其中 "操作" 这一部分又是建立在 "selenium" 元素定位的基础之上的。所以对元素对象的定位就显得越发的重要,接下来我们就学习一下常用的元素定位方法有哪些。......

易编橙 · 终身成长社群,相遇已是上上签! 4万+

阿里P8架构师谈:常见的五种MySQL高可用方案分析

一. 概述 我们在考虑MySQL数据库的高可用的架构时,主要要考虑如下几方面: 如果数据库发生了宕机或者意外中断等故障,能尽快恢复数据库的可用性,尽可能的减少停机时间,保证业务不会因为数据库的故障而中断。 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。 当业务发生数据库切换时,切换前后的数据库内容应当一致,不会因为数据缺失或者数据不一致而影响业务。 关于对高可用的分级在这里我们不做详细的讨论,这里只讨论常用高可用方案的优缺点以及高可用方案的选型。 二....

wdjnb的博客 256

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

彻底解决数据库单点故障!Keepalived+LVS(DR)+MariaDB主主高可用架构实战

彻底解决数据库单点故障!Keepalived+LVS(DR)+MariaDB主主高可用架构实战

fb_12345的博客 403

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Gin Web分布式定时任务:DCron实现与Redis配置详解

想要构建一个高效、可靠的Golang后端应用吗?Gin Web框架的分布式定时任务系统是你的理想选择!🚀 本文将为你详细解析如何在这个强大的RBAC权限管理脚手架中实现DCron分布式定时任务,并配置Redis作为任务协调器。 Gin Web是一个基于Gin + Gorm + JWT + Casbin组合实现的RBAC权限管理脚手架Golang版,搭建完成即可快速、高效投入业务开发。该框架集成

gitblog_01190的博客 311

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

FastDFS存储集群避坑全记录:从单机部署到跨设备同步(Ubuntu 20.04版)

本文详细解析了在Ubuntu 20.04上部署FastDFS分布式文件系统集群的全过程,涵盖单机部署到跨设备同步的高可用架构设计。通过实战案例和关键配置优化,帮助用户规避常见陷阱,提升集群性能和稳定性,特别适用于需要远程访问和大规模文件存储的企业级应用场景。

raspberrypi5的博客 184

MySQL8.0 MGR 单主高可用集群部署

官方原生组件,无需部署MHA等第三方工具、管理节点,部署简单。内置故障检测、自动选主、自动切换,高可用能力完备。基于Paxos多数派协议,保障集群数据强一致性。自动隔离故障节点,支持集群滚动升级,业务无感知。提供单主、多主两种模式,适配不同业务架构。

2402_88311944的博客 306
上一篇: 让数据流动起来:Binlog同步技术的使用
下一篇: 分享一款可以管理本地端口的IDEA插件
智_永无止境
博客等级 码龄10年 803粉丝 407原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智_永无止境

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值