MySQL-Transfer2.3发布

Transfer 2.3 发布, 下载地址

 

此版本除了升级based版本外

*优化了无索引表的同步性能

*优化了slave模式下超大事务内存消耗问题

*Transfer模式相关的功能改动较多

*修复transfer模式下超大事务可能同步失败的bug

 

由于有两个公司的同学在使用5.5.31,因此该版本的改动也同时backport到5.5.31,下载地址

版本说明

1、     基于版本 Percona 5.5.34,简单用法是先安装好官方或PS版5534,然后替换为transfer的mysqld

若使用的是slave模式,直接替换无需修改参数。

 

FAQ:若直接替换后启动如下的错误 "Error message file '/mysql/share/english/errmsg.sys' had only ...",则你需要下载此文件 替换到报错位置。

 

2、    新增参数

transfer_parallel_on
说明:1) on—多线程复制, off—单线程 默认值on
      2)
只能在stop slave状态下修改

transfer_mode

说明:1)on – transfer模式, off—slave模式 默认值 off

      2) 只读参数

transfer_slave_*
说明:1) 这四个参数说明见2.2版本的说明,仅在transfer模式下有效
     2)
只能在stop slave状态下修改
     3
)transfer_slave_password参数无论设置为何值,都显示为****

============================

历史版本改动

   2.2

新增观察参数 Com_ts_*

在压测过程中,可使用如下命令观察

mysqladmin --socket=run/mysql.sock -uroot   extended-status --relative --sleep=1 | grep  Com_ts

                   得到如下图的示例

https://i-blog.csdnimg.cn/blog_migrate/cc38e8afaaedfbf90d812cf8b81b8885.jpeg 

         说明:

1)       Com_ts_serial_number : 串行执行的数目。表示未使用上多线程的事务。正常应该为0,出现非0最可能的因素是出现了statement格式的语句,比如DDL,或者主库的binlog format错误。

2)       Com_ts_thread_0 :第0号线程的执行事务数。正常应该为0。出现非0的最可能因素是数据库中存在无主键和unique key的表。

3)       Com_ts_thread_N :第1到15号线程为正常的transfer worker。

上图是master做随机插入。前面几个线程更加集中是合理的。需要关注的是前面几个线程比较均匀,就达到了多线程同步的目的。

 

3、  新增配置参数 transfer_verbos

https://i-blog.csdnimg.cn/blog_migrate/d2a06a8791e41d0826a361664c7ecd25.jpeg

         说明:此参数默认值为OFF。上面说到Com_ts_serial_number正常应为0。若非0,可以通过将transfer_verbos改为ON,会在errlog中输出导致串行执行的语句。

MySQL实时增量同步工具之go-mysql-transfer MySQL实时增量同步工具之go-mysql-transfer简介前提条件特性与同类工具比较实现原理go-mysql部署运行监控同步数据到Elasticsearch基于规则同步规则示例示例一示例二基于Lua脚本同步Lua示例示例一示例二esOps模块同步数据到RocketMQRocketMQ配置基于规则同步示例示例一示例二示例三同步数据到Redis同步数据到MongoDB同步数据到RocketMQ同步数据到Kafka同步数据到RabbitMQ全量数据导入Lua脚本性能总结 MySQL实时增量同步工具之go 阅读详情

相关推荐

MySQL Binlog 同步工具go-mysql-transfer Lua模块使用说明

上面4个方法的返回值为一个table类型的结果,元素"status_code"为http响应状态,Number类型(如:200、401、403、500等);基于Binlog的数据同步工具,只能监听到一行数据的变更,进行响应。2、select(sql) 查询多条数据,返回数组类型的结果,数组元素为tablem(格式如:[table1,table2]);2、集成多种接收端,如:Redis、MongoDB、Elasticsearch、RabbitMQ、Kafka、RocketMQ,不需要再编写客户端,开箱即用。

pingguocu3的博客 908

mysql transfer_MySQL多线程同步MySQL-Transfer介绍

一、关于TransferMySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里,从库是单线程apply主库的binlog,导致的延迟。最近完成测试的版本将multi-master (by P.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。这里做一个已经完成的完整功能介绍。二、...

weixin_34101577的博客 473

MySQL多线程同步MySQL-Transfer介绍

MySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里,从库是单线程apply主库的binlog,导致的延迟。最近完成测试的版本将multi-master(byP.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。这里做一个已经完成的完整功能介绍。说明:1、Transfer可以注册成多个Master的从库2、Transfer接收多个Master传入的binlog后将更新执行到Slave上3、Transfer本地没有数据如果你没有多主的需求,那结构就是Master->Trans

mysql多线程访问同步_MySQL多线程同步MySQL-Transfer介绍

一、关于TransferMySQL-Transefer(下称Transfer)是一个基于MySQL+patch后得到的主从同步工具。其主要目的是为了解决原生版本的主从同步里,从库是单线程apply主库的binlog,导致的延迟。最近完成测试的版本将multi-master (by P.Linux)合并到Transfer中并针对支付宝的应用需求做了定制性能改进。这里做一个已经完成的完整功能介绍。二、...

weixin_29407885的博客 261

(详细教程)opencv+pycharm+笔记本摄像头 做一个人脸识别

文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 一、安装opencv-python 这里推荐使用pycharm直接安装opencv-python 打开文件——设置——python解释器——点击+号 搜索opencv-python,点击安装包,等待片刻即可安装好 检查是否安装好,新建一个项目输入以下代码,若无报错则安装好 import cv2 二、准备分类器 咱们使用opencv官方提供的分类器,包括面部识别,侧...

qq_52852432的博客 1万+

ATM火控电容改造实战:提升速凌无刷电机动力与系统稳定性

在嵌入式系统与电机驱动领域,电源完整性是保障电路稳定运行的核心基础。其核心原理在于通过合理的电容网络设计,为负载提供瞬时大电流并滤除高频噪声,从而维持电压稳定。这项技术的核心价值在于能显著提升系统的动态响应能力与可靠性,避免因电压跌落导致微控制器复位或功率器件过应力。典型的应用场景包括无人机电调、机器人关节驱动以及各类需要快速响应的伺服系统。本文聚焦于水弹发射器ATM火控系统的硬件迭代,通过详解电容的选型、布局与焊接流程,特别是针对速凌五代无刷电机的高启动电流特性,系统性地阐述了如何通过强化电源储能与芯片去

weixin_33868027的博客 559

Mysql同步工具go-mysql-transfer简介(个人使用)

Mysql同步工具go-mysql-transfer简介(个人使用)

Years_of_sorrow的博客 1018

GD32H7 SPI驱动实战:手把手教你用SPI3连接外部Flash(W25Q128)并实现读写

本文详细介绍了基于GD32H7系列MCU的SPI3接口驱动W25Q128外部Flash的全流程开发指南。从硬件设计、引脚配置到SPI3外设深度配置,再到底层通信函数实现和高级功能优化,提供了完整的解决方案。特别针对高速读取、DMA传输和信号完整性等关键环节进行了优化,确保系统在-40℃~85℃范围内稳定工作。

weixin_28729205的博客 382

如何使用Artie Transfer将MySQL数据实时同步到Snowflake:完整教程

Artie Transfer是一个强大的数据库复制平台,它利用变更数据捕获技术,实现从MySQL到Snowflake的实时数据同步。这篇完整教程将指导您完成从零开始配置Artie Transfer,实现MySQL数据实时同步到Snowflake的全过程。 ## 什么是Artie Transfer? Artie Transfer是一款开源的实时数据复制解决方案,专门用于在OLTP(在线事务处理)

gitblog_00890的博客 750

STM32F103+W5500网络通信

STM32F103+W5500网络通信一、W5500模块(一)W5500以太网模块介绍(二)模块排针功能表二、 modbus协议(一)modbus协议原理(二)Modbus 通讯方式1.Modbus三种通讯方式2.在Modbus网络上传输3.以太网(modbus tcp/ip)三、参考资料 一、W5500模块 (一)W5500以太网模块介绍 D-W5500 EVB以太网模块是一款基于WIZnet W5500芯片的以太网模块,且性价比高的以太网模块。W5500是一款全硬件TCP/IP嵌入式以太网控制器,为

”一只特立独行的猪“的博客 1万+

Monorepo与pnpm:前端项目管理的完美搭档

pnpm又称 performant npm,翻译过来就是高性能的npm。Monorepo是一种项目开发与管理的策略模式,它代表"单一代码仓库"(Monolithic Repository)。在Monorepo模式中,所有相关的项目和组件都被存储在一个统一的代码仓库中,而不是分散在多个独立的代码仓库中,这些项目之间还可能会有依赖关系。

m0_68271787的博客 2562

go-mysql-transfer 伪装从库实现 MySQL 到 Redis 数据同步(完整配置)

这篇文章详细介绍了go-mysql-transfer工具的安装配置与使用,通过go-mysql-transfer实现 MySQL 数据到 Redis 的实时同步。文章提供了详细的命令操作步骤和配置文件示例,并包含同步测试的实际操作过程。

平平无奇的小甜菜 1554

6.4 实战项目:基于Agent内核构建Code Review智能体

本文介绍了一个基于Agent内核构建的智能Code Review系统实战项目。系统采用多Agent协作架构,包含代码质量分析、安全漏洞识别、性能优化建议等核心功能模块。文章详细展示了系统架构设计,采用协调器Agent管理多个专业Agent协同工作,并提供了基础Agent框架和协调器Agent的TypeScript实现代码。项目结合了AI Agent核心原理和多Agent协作机制,实现了自动化的代码审查流程,能够生成详细的审查报告,帮助开发者提升代码质量和安全性。

yonggeit的博客 3114

go mysql transfer_go-mysql-transfer

简介go-mysql-transfer是一款MySQL数据库实时增量同步工具。能够监听MySQL二进制日志(Binlog)的变动,将变更内容形成指定格式的消息,实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据同步更新管道。特性1、简单,不依赖其它组件,一键部署2、集成多种接收端,如:Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、Ra...

weixin_33256071的博客 802

37、基于铁电场效应晶体管(FeFET)的片上深度神经网络(DNN)直接反馈对齐训练

本文提出了一种基于铁电场效应晶体管(FeFET)的深度神经网络(DNN)训练加速器架构,结合直接反馈对齐(DFA)算法和FeFET的独特物理特性,以解决当前DNN训练中反向传播(BP)算法带来的高计算开销、复杂数据依赖和高能耗问题。通过设计基于FeFET的MVM引擎、低功耗ADC和随机数生成器(RNG),该架构在速度和功率效率方面相比现有基于ReRAM的加速器分别提升了1.3倍和2.5倍。研究为未来高效能AI训练硬件的发展提供了新的思路和实现路径。

wine的专栏 164

10年上位机开发踩过的20个坑:C#通信/线程/UI适配避坑指南

通信层:所有通信操作异步化、异常全覆盖,加断线重连+心跳检测,多设备隔离资源;线程层:UI更新必做跨线程判断,共享数据加锁,线程池限流,异常不静默;UI层:适配高分屏/DPI,用布局容器替代固定坐标,多屏场景绑定主屏幕。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 904

mysql transfer 安装_MySQL-Transfer2.2发布

Transfer 2.2发布。下载地址版本说明1、基于版本Percona-5.5.31,简单用法是先安装好官方或PS版5531,然后替换为transfer的mysqld。2、新增观察参数Com_ts_*在压测过程中,可使用如下命令观察mysqladmin --socket=run/mysql.sock -urootextended-status --relative --sle...

weixin_39985279的博客 81

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

【亲测免费】 go-mysql-transfer 使用教程

`go-mysql-transfer` 是一款 MySQL 数据库实时增量同步工具。它能够监听 MySQL 二进制日志(Binlog)的变动,将变更内容形成指定格式的消息,实时发送到接收端,从而在数据库和接收端之间形成一个高性能、低延迟的增量数据同步更新管道。 ### 特性 - 简单:不依赖其它组件,一键部署。 - 集成多种接收端:如 Redis、MongoDB、Elasticsearch、R...

gitblog_00976的博客 865

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

后起之秀 | MySQL Binlog增量同步工具go-mysql-transfer实现详解

点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源一、 概述工作需要研究了下阿里开源的MySQL Binlog增量订阅消费组件canal,其功能强大、运行稳定,但是有些方面不是太...

微信搜:import_bigdata,大数据领域硬核原创作者 2470

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

mysql data transfer_MySQL主从同步加速 Transfer-- FAQ

Q: Transfer是什么A: 是一个解决MySQL原生主从同步延迟的方案。 Transfer本身是一个在MySQL源码上打的patch,可以用于当Slave,也可以用于当第三方工具,将Master的数据同步发给Slave。 利用多线程实现主从无延迟。Q: Transfer目前的发布形式?A: Transfer会在今年内开源,目前的发布形式是可执行的mysqld文件。 有两个版本,分别是官方的5...

weixin_29564301的博客 333

go mysql transfer_部署运行 · go-mysql-transfer产品手册 · 看云

# 安装包您可以直接下载编译好的安装包: [点击下载](https://github.com/wj596/go-mysql-transfer/releases)最新版本:v1.0.3 release也可以自行编译:1、依赖Golang 1.14 及以上版本2、设置 ' GO111MODULE=on '3、拉取源码 ' git clone https://github.com/wj596/go-m...

weixin_36218360的博客 990
上一篇: 关于MySQL count(distinct) 逻辑的另一个bug
下一篇: mymysql与go-mysql-driver的一个区别
iteye_621
博客等级 码龄8年 12粉丝 3原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值