万答17,AWS RDS怎么搭建本地同步库

AWS-解析mysql binlog同步数据方案 虽然是公有云的鼻祖,AWS在某些产品的实现却太不给力;可能是习惯了阿里云喂到嘴边的感觉,AWS很多方案需要自己折腾,蛋疼!比如这里要讲的mysql数据同步方案。 阿里云产品DTS,点几下就OK了,AWS,只能通过插件安装、配置、调试、蹚坑……,具体就是用msk的debezium插件连接器。没见识过的一脸懵逼,下面说下配置步骤和一些注意的坑。 阅读详情

欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答

背景说明

AWS RDS 权限受限,使用 mysqldump 的时候无法添加 --master_data 参数获取Binlog 的 Pos 信息,故需要调用官方存储过程进行处理,详细步骤如下。

操作步骤

1.登陆aws从实例确认下主从同步

mysql> show slave status\G;

2.调用aws的存储过程停止同步

mysql> call mysql.rds_stop_replication;

3.调用aws的存储过程,调整binlog保留时间为168H

mysql> call mysql.rds_set_configuration('binlog retention hours',168);

4.在中转的aws服务器上进行数据导出

mysql> mysqldump --single-transaction --default-character-set=utf8 -h 从aws的域名 -P从aws端口 -uroot -pGreatSQL -R -E -B 导出的库名 > /backup/导出的库名_时间.sql

记录以下4个信息

  • Master_Host # RDS的HOST信息,通常是一串域名
  • Master_Port # RDS的端口
  • Relay_Master_Log_File # 主RDS节点Binlog
  • Exec_Master_Log_Pos # 主RDS节点Pos

5.将导出SQL导入的本地实例中

mysql> mysql -uroot -pGreatSQL -S /tmp/mysql.sock < /backup/导出的库名_时间.sql

6.创建同步权限

mysql> GRANT REPLICATION SLAVE ON *.* TO 'sync'@'%' IDENTIFIED BY 'GreatSQL';
mysql> flush privileges;

7、建立同步

mysql> change master to master_host='主RDS域名',master_port=主RDS端口,master_user='sync',master_password='GreatSQL',master_log_file='前面步骤4Relay_Master_Log_File的值',master_log_pos=前面步骤4Exec_Master_Log_Pos的值;
mysql> start slave;

8.原先从RDS的存储过程开启同步

mysql> call mysql.rds_start_replication;

Enjoy GreatSQL :)

文章推荐:

GreatSQL MGR FAQ https://mp.weixin.qq.com/s/J6wkUpGXw3YkyEUJXiZ9xA

万答#12,MGR整个集群挂掉后,如何才能自动选主,不用手动干预 https://mp.weixin.qq.com/s/07o1poO44zwQIvaJNKEoPA

『2021数据技术嘉年华·ON LINE』:《MySQL高可用架构演进及实践》 https://mp.weixin.qq.com/s/u7k99y6i7riq7ScYs7ySnA

一条sql语句慢在哪之抓包分析 https://mp.weixin.qq.com/s/AYibbzl860D90rOeyjB6IQ

万答#15,都有哪些情况可能导致MGR服务无法启动 https://mp.weixin.qq.com/s/inSGpd0Q_XIl2Mb-VsvNsA

技术分享 | 为什么MGR一致性模式不推荐AFTER https://mp.weixin.qq.com/s/rNeq479RNsklY1BlfKOsYg

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。

Gitee: https://gitee.com/GreatSQL/GreatSQL

GitHub: https://github.com/GreatSQL/GreatSQL

Bilibili: https://space.bilibili.com/1363850082/video

微信&QQ群: 可搜索添加GreatSQL社区助手微信好友,发送验证信息“加群”加入GreatSQL/MGR交流微信群

QQ群:533341697 微信小助手:wanlidbc

本文由博客一文多发平台 OpenWrite 发布!

汽车以太网- IEEE 802.3标准 关于汽车以太网,大家看到最多的标准大概就是IEEE802.3bw,也就是我们车内使用的百兆以太网,专业称呼是100BASE-T1,该标准是车内百兆以太网的物理层协议,是我们学习汽车以太网必须要了解的协议。在正式了解协议之前,我们先介绍下什么是IEEE802.3标准。............ 阅读详情

相关推荐

水下井口装置及钻杆建模

内容:海上油气资源开采的过程中,通常会由海上钻井平台下入钻杆连接到海底井口装置。OrcaFlex软件可进行各种海洋工程结构动态分析,通过各项数据的输入,能够很方便地进行水下井口装置及钻杆建模。直接使用软件New Line及new vessel功能,再设置模型的各项参数(几何属性、弯曲刚度、轴线刚度、扭转刚度、泊松比等)即可建成井口装置及钻杆模型。 设置管线的几何属性:主要包括管线的内外径、壁厚、...

s0302017的博客 1145

Amazon RDS数据库实例配置与外部源主从同步数据

如果想避免RDS实例IP变动而造成同步中断,可以把外部库实例放在同一VPC下通过内网互通。请先以主用户身份连接到 Amazon RDS 数据库实例。6.数据库实例的手动故障转移由使用带故障转移的重启操作启动。可以通过运行以下任一命令来查找 RDS 实例的 IP 地址。2.由于实例故障和数据库实例类更新等情况,底层主机被替换。7、将 AWS RDS 数据库实例设置为副本。命令,将外部 MySQL数据库标识为源实例。注意:重启实例时,IP 地址不会发生变化。5.数据库实例的操作系统进行软件修补。

ai147258150的博客 1462

vit的cam和注意力图: VIT模型的可解释性

VIT的热力图怎么画

YI_SHU_JIA的博客 1万+

AWS - RDS - 自建 AWS RDS for MySQL 的从库实例

自建 aws rds mysql 的从库实例

chuckchen1222的博客 2267

在没有信用卡的情况下怎么申请谷歌云(Google Cloud)?

这笔额度足够用来跑一台云服务器、部署小型网站,甚至可以尝试 AI、机器学习等项目。但问题来了——想要拿到这 300 美元,你必须先通过支付方式验证。默认选项就是绑定一张国际信用卡(Visa、MasterCard 之类),然而不少人没有信用卡,或者信用卡无法支持国际支付,结果就卡在注册第一步。很多人会疑惑:既然是送额度,为什么还要绑卡?原因其实很简单:谷歌需要确认你是真实用户,而不是批量注册薅羊毛;通过支付验证,后续如果你用完 300 美元额度,可以直接进行付费使用;

m0_74824483的博客 5654

vue2学习笔记2-老规矩,从Hello World开始,了解Vue实例和模板

想要把“Hello,World”放置在页面上,首先需要准备一个HTML的块级元素div,来承接内容。

l_q_l的专栏 1258

MySQL数据源不停机迁移到AWS RDS MySQL

​通过上述步骤,您即可完整地将您的业务数据从其他云迁移到 AWS RDS MySQL,在增量复制延迟为 0 的前提下,您可以在任何您需要的时间进行业务割接,把业务流量切换到新的云上。如果您只是需要将 AWS RDS MySQL 作为一个您业务的多活节点,也可以保留该条迁移链路持续运行,NineData 会保证两端的数据实时保持一致,在其中一个云厂商出现故障后,可以迅速将业务切换到另一个云。至此,您已成功实现了跨云厂商的不停机数据库迁移,最大程度地减少了对线上业务的影响。

云原生智能数据管理平台 1145

RH850从0搭建Autosar开发环境【6】- Davinci Configurator之CanIf模块配置详解(下)

RH850从0搭建Autosar开发环境【6】- Davinci Configurator之CanIf模块配置详解(下)

weixin_42412049的博客 2584

mysql-AWS-RDS骚操作

一、背景 目前云时代,好多公司都上云了,但是rds的使用方法和物理机上的自建传统数据库可能有些不一样,这里慢慢来做对比。 二、操作处理 问题一、kill thread 描述: 我们自己在aws上创建的超级用户并不能kill其他用户的线程 解决: aws封装了一个存储过程在里面,不同的rds可能名字不一样,可以通过 select * from ROUTINES where routine_name like '%kill%'来查询。 **使用: **call mysql.rds_kill(thread_id)

line_on_database的博客 757

Cadence 批量一次性修改title 页码标题

本文介绍如何在Cadence软件中对DSN文件进行标题栏的批量编辑操作,包括选择编辑对象、使用快捷键打开属性面板以及如何修改标题、页码等关键信息。

tianpu2320959696的博客 976

大模型选型实战:为OpenClaw匹配最优“大脑”的全维度考量

大模型不是越贵越好,也不是参数越高越好,适合自己的使用场景才是最好的。按照我的方法,先明确自己的需求,再选对应的模型,配置多模型自动路由,既能保证体验,又能最大限度降低成本。我自己用这套配置用了半年多,不管是写文章、写代码还是处理复杂问题,都完全够用,成本也很低,大家可以参考一下。如果不知道选什么模型,可以在评论区说一下你的使用场景。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 343

aws rds同步_将数据从Python同步到AWS RDS

aws rds同步 什么是Amazon Web Services? (What is Amazon Web Services?) Amazon Web Services is the cloud platform provided by the Amazon company. It is one of the most frequently emphasized / sought-after pl...

weixin_26752765的博客 771

2025华为OD 面试手撕代码真题【字符串至多删除一个字符,是否能构成回文串】

2025华为OD 面试手撕代码真题【字符串至多删除一个字符,是否能构成回文串】

MISAYAONE的博客 1706

AWS - RDS

AWS提供了2种数据库,RDS和DynomoDB,前者是传统的关系型数据库,目前包括Mysql,PostgrepSQL, Oracle和 MS SQL; 后者是NoSQL; 豆子以MySQL为例,把AWS RDS的基本功能过一遍。接下来会演示以下功能:如何创建MySQL 实例如何通过EC2连接MySql 实例如何创建Read Replica如何Promote Read Replica,如何备份,观...

weixin_33847182的博客 581

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

mysql主从同步aws同步到本地数据库,数据迁移备份

1.到aws创建副本 2.测试:.到本地连接主库,测试是否可以增删改查 3.创建好副本,进入副本,mysql> show slave status \G; 查看状态 Seconds_Behind_Master的值,如果为0必须为0才能停止复制。 4.在副本上确定没有滞后,停止复制 call mysql.rds_stop_replication; 测试:在主库插入一些数据: 5.记录副本中的binlog日志和pos偏移量show slave status \G 注意:-log_file 是 Relay_

weixin_45290734的博客 944

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

使用RDS和本地mysql做主从同步,实现多服务器数据同步

导读:最近有个项目要做多服务器数据同步,我设计的方案是使用RDS做主数据库,各服务器上mysql做从数据库,同步RDS上的数据。读写分离,所有数据写全部写到RDS里,数据读取从本地mysql中读,这样通过同步就能保证各个服务器上读取的数据一致了。 最近有个项目要做多服务器数据同步,我设计的方案是使用RDS做主数据库,各服务器上mysql做从数据库,同步RDS上的数据。读写分离,所

妄笑伊的博客 6756

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

aws数据库同步区别_了解如何通过使用AWS AppSync构建具有实时数据同步的应用程序

aws数据库同步区别AWS AppSync automatically updates the data in web and mobile applications in real time, and updates data for offline users as soon as they reconnect. AWS AppSync自动实时更新Web和移动应用程序中的数据,并在离线用户重...

cumi7754的博客 617

aws mysql rds_AWS RDS上如何使用mysqlbinlog命令下载binlog

AWS RDS上,可以使用mysqlbinlog来下载binlog,具体命令为:mysqlbinlog \ --read-from-remote-server \ --host=db-endpoint \ --port=3306 \ --user UserName \ --password \ --raw \ --result-file=/tmp/ \ binlog.xxxxx需要注意Amazon...

weixin_26720479的博客 1386

aws RDS binlog日志保留时间

rds mysql设置binlog保留时间

炽&天使 485

AWS RDS MySQL 从外部 数据库同步数据到RDS slave环境搭建

参考链接: https://docs.aws.amazon.com/zh_cn/AmazonRDS/latest/UserGuide/MySQL.Procedural.Importing.External.Repl.html 说明:亚马逊RDS支持从外部机器上通过mysql复制模式从外部master server同步到rds slave上。由于rds对权限进行了限制,无法在rds上

u010027484的博客 5927

AWS-rds 表主从不一致如何解决

一、背景 因为某些修改造成了表的主从不一致,所以需要备份表恢复数据,物理机大家都有很多种做法,但是因为aws rds限制了账户的权限,所以这里用不到普通的办法,想了一阵想到一种可行性的方法,暂时没有发现隐患,或者更好的办法,如果有大佬知道的话,欢迎随时指教 二、步骤 1.查看主库二进制状态(主库执行) # 记录当前的二进制和pos点,mysql-bin.123,111 show master status 2.等待一段时间,确定所要备份的表没有还未执行完的大事务,开始备份 这里可以用多种方式,我使用的为m

line_on_database的博客 542

AWS: 关系型数据库(RDS)的使用

简介 1.当创建一个database instance时, 下面会实际去创建一个EC2 instance,并安装相应的操作系统和数据库引擎,所以选择DB Instance class很重要。 2. 为了保证数据的安全性、强的可用性和持久性。 三个重要的特性:备份、恢复、多可用区域部署,只读副本。 3.如果打开多可用区域部署,它将会在同一个region里的另一个可用区创建一个副本,一旦当前的数据库...

wucong60的专栏 8138

aws mysql 无法访问_无法从本地mysql服务器连接到AWS RDS数据库实例

我更喜欢使用MySQL工作台 . 它比命令行方式更容易和用户友好 .它提供了一个简单的GUI .MySQL工作台或SQL Yog .这些是我所做的步骤 .1)安装MySQL Workbench .2)在AWS控制台中,您的RDS实例必须有一个安全组 . 将入站规则添加到该组以允许来自您的计算机的连接 . 这很简单 . 添加您的IP地址 .3)打开MySQL工作台,添加新连接 .4)为连接指定一个您...

weixin_26831583的博客 955

call 在mysql,mysql call

云数据库 MySQL云数据库(RDS for MySQL)是稳定可靠、可弹性伸缩的云数据库服务。通过云数据库能够让您几分钟内完成数据库部署。云端完全托管,让您专注于应用程序开发,无需为数据库运维烦恼价格低至¥0.24/小时起,买1年83折云数据库MySQL云数据库(RDS for MySQL)是稳定可靠、可弹性伸缩的云数据库服务。通过云数据库能够让您几分钟内完成数据库部署。云端完全托管,让您专注于...

weixin_34518801的博客 289

AWS RDS-Mysql通过蓝绿部署后使用DMS工具进行迁移(同AWS平台,跨账号迁移)

源数据库binlog文件为Mixed格式,使用DMS迁移需要将binlog文件转换为ROW格式。binlog转换格式需要调整参数组,参数组该参数需要重启生效,但是生产环境数据库不能进行重启。

SINGWIN01的博客 1773
上一篇: 故障案例 | 主从复制环境中tokudb引擎报错排查过程
下一篇: Macos系统编译percona及部分函数在Macos系统上运算差异
GreatSQL社区
博客等级 码龄5年 1210粉丝 390原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值