图形化探索:快速改造单实例为双主、MGR、读写分离等架

产品解读:GreatADM如何快速改造单实例为双主、MGR、读写分离架构? 进入paxos配置项中,我们仍选择【default】默认项目,对应的软件包版本可选择升级的新版本,在做架构改造时,同时进行数据库的版本升级工作。通过sysbench压入单机数据,通过备份单机数据,恢复到新的架构中,使用sysbench直接连接新的架构做压测,查看是否可正常运行验证数据可用性。创建备份集存储的目录,使用root创建,并调整目录权限,保证和添加服务时创建的【管理用户】,同一个属组,确保GreatADM以greatsql普通用户备份时,有权限写入/backup。形成双主双从,这里仅作演示。 阅读详情

单机GreatSQL/MySQL调整架构为多副本复制的好处有哪些?为什么要调整?

file

  1. 性能优化:如果单个GreatSQL服务器的处理能力达到瓶颈,可能需要通过主从复制、双主复制或MGR,以及其他高可用方案等来提高整体性能。通过将读请求分发到多个服务器,可以大大提高并发处理能力。
  2. 高可用性:如果您的应用程序不能接受服务中断,那么多副本可以帮助您实现高可用性的故障切换。当主服务器发生故障时,可以快速切换到从服务器或另一个主服务器,以保持服务的连续性。
  3. 读写分离和业务数据测试:单机GreatSQL在做一致性备份时,往往对性能和负载产生压力,主从、多主、或MGR可以选择从节点来备份。数据恢复或者测试,可以优先在从服务器进行数据回放测试等。

请查看手动部署介绍: GreatSQL从单机到MGR扩展纪实 https://mp.weixin.qq.com/s/ewIx_avO5R6GDGmyDmPMLg

适用场景:

1、单机GreatSQL/MySQL改造为主从或者双主复制

2、单机GreatSQL/MySQL改造为MGR组复制

3、GreatSQL/MySQL主从改造为MGR组复制

4、基于备份做GreatSQL/MySQL数据库升级测试

具体步骤

通过GreatADM可视化的方法,屏蔽手动命令操作的复杂度,快速完成单实例的向多主、多副本的架构分钟级的调整升级。

场景支持:支持纳管的实例的架构改造,或者数据库软件版本的升级功能。

思路如下:通过sysbench压入单机数据,通过备份单机数据,恢复到新的架构中,使用sysbench直接连接新的架构做压测,查看是否可正常运行验证数据可用性。(本次演示采用GreatSQL单机企业版本操作)

步骤如下:

1、使用GreatADM针对单实例做全量备份

2、选择备份的数据和确定要改造或升级的版本

3、选择不同架构和软件包构建新架构(本次演示单机向双主、MGR的变更)

4、恢复数据完成新架构改造

5、sysbench压测查数据可用性

环境信息如下:

数据库主机IP实例端口目标架构主机IP实例端口
单机172.17.134.683307主从、双主、双主多从172.17.134.60/613307
单机172.17.134.683307MGR(1台主机3实例)172.17.134.613307/3308/3309
图形化工具GreatADM-6.0版本
物理备份工具xtrabackup-8.0.32

添加2台主机172.17.134.60/61到GreatADM中,如下

file

file

准备工作:sysbench创建压测数据到单实例

file

登录数据库,创建sysbench测试数据50张表,每表1w行数据。

$ sysbench --test=oltp_read_write.lua --mysql-user=greatdb --mysql-password='xxxxx' --mysql-host=172.17.134.68 --mysql-port=3307 --mysql-db=sysbench --threads=10  --report-interval=1 --tables=50  --table-size=10000 --time=60  prepare

通过SQL窗口查看对应的表信息

file

完成测试数据的创建,接下来进行单节点的备份操作。

一、做数据库全量备份

使用GreatADM针对单实例做全量备份,选择【备份管理】执行单节点的全量备份,在备份之前首先需要配置备份方式。因为GreatADM支持HDFS、FTP、COS对象存储、LOCAL本地、远端备份服务器5种类的备份集存储方式。

file

这里我们选择【LOCAL本地存储】即将数据直接备份放置在数据库所在的主机,指定本地路径下。【本地路径】是最终备份集存储的路径,我们命名为:/backup,需要在数据库的服务器上创建目录,并授权。

file

创建备份集存储的目录,使用root创建,并调整目录权限,保证和添加服务时创建的【管理用户】,同一个属组,确保GreatADM以greatsql普通用户备份时,有权限写入/backup。

$ mkdir /backup ;  
$ chown greatsql.greatsql  /backup;

接下来,执行【手动备份】并配置备份项。

file

GreatADM支持多种数据库架构的备份,且可以按照用户需求,选择备份不同项目的数据库,以及按需选择数据库主节点、或从节点备份。

file

在配置项中,同时支持【压缩备份】,【加密备份】,【并行备份】,以及备份超时平台层的【超时提醒】消息等

file

执行备份,日志输出如下 ,整个备份分为4个阶段即

【收集信息】--收集数据库的版本和数据文件路径等信息

【备份预检查】--检查备份工具和数据库版本是否匹配,备份配置项是否有效

【执行备份】--执行执行一致性的物理热备

【上传到存储】--如果配置远程网络存储,则进行备份集的网络传输。

file

完成备份,如下生成的备份记录

file

完成备份之后,可点击【备份详情】查看本次备份的配置信息等。

操作系统路径下对应的备份集,与数据库实例同在一台服务器的不同路径下。

file

二、恢复为双主复制架构

基于备份做架构变更,基于全量物理备份做数据的恢复,和新架构的变更创建。基于全量备份恢复导172.17.134.60、61两台主机,来改造成新的主从,或者双主架构。步骤如下:

首先选中【序号1】刚刚完成的【单机601全量备份】,点击【备份恢复】选项

file

弹出要恢复为哪种架构,这里目前可选的有4种,同时支持2种恢复架构的类型,即【恢复物理机数据库】和【资源池方式】也就是资源隔离方式。 这里,我们选择物理机恢复出双主架构。点击【主备副本】选择【恢复物理机数据库】

file

接下来配置恢复出的新架构,属于哪个【项目】,所选择的【数据库软件包版本】,以及备份工具包,GreatSQL兼容开源的xtrabackup,这里我们就默认选择GreatADM已经上传的xtrabackup-8.0.32版本。主机选择172.17.134.60、172.17.134.61两台主机。鉴于之前部分传统的企业客户,有多个副本的需求场景下,GreatADM提供了双主下,再次扩展副本的能力。如果在双主复制的架构下,仍想扩展1个从副本,则可以在添加节点之后,选择【添加从节点】选项,扩展副本数

file

默认允许用户混合主从副本安装在同一台物理主机上,用端口做区分如下示意图,则可以在双主下各创一个从副本。形成双主双从,这里仅作演示。

file

实际我们仍按双主架构来进行架构恢复。进入新架构的部署预检查页面,如图,主要是涉及操作系统配置标准化、规范化、依赖包等检查。

file

通过之后进行下一步,完成新架构的初始化,并在初始化之后,做数据的恢复。

file

完成架构调整的双主结构拓扑如下

file

实例属性信息如下

file

同时保留了原始节点,此时可将原始的单机移除,到此完成架构的改造和变更。数据中的用户名、密码等和原始单机数据库完全相同一致。可直接点点击【登录】验证。

file

完成单机改造为新的双主复制结构。

三、恢复为MGR架构

同样,选择单机601的备份集, 删除之前172.17.134.60、61的数据库,释放主机资源。之前鉴于项目中有用户主机资源不足,考虑主机采用多实例混合部署在1台上的情况,我们顺便测下GreatADM是否支持重复利用主机,混合部署多个实例。

file

选择【备份恢复】,恢复架构中,选择【paxos高可用复制】,选择【物理数据库】

file

进入paxos配置项中,我们仍选择【default】默认项目,对应的软件包版本可选择升级的新版本,在做架构改造时,同时进行数据库的版本升级工作。此处,我们重复使用172.17.134.61这台主机,分别使用3307、3308、3309三个端口来区分3个实例。如下:

file

预检查之后的拓扑图预留和端口信息如下:

file

安装部署过程和日志信息如下:

file

安装之后拓扑如下:

file

完成单机向paxos高可用(组复制)的改造和数据恢复。查看当前172.17.134.61主机的运行状态和负载,也验证了GreatADM支持混合部署多实例到1台主机。

file

file

四、验证数据的可用性

使用sysbench压测新恢复的架构,对应的sysbench库的表等可直接压测使用,无数据异常。

$ sysbench --test=oltp_read_write.lua --mysql-user=greatsql --mysql-password='xxxxx' --mysql-host=172.17.134.61 --mysql-port=3307 --mysql-db=sysbench --threads=10  --report-interval=1 --tables=50  --table-size=10000 --time=60  run

file

五、总结

改造的意义:如果您需要存储和处理大量数据,且读写负载较高,单个MySQL服务器可能无法满足需求,或为了满足跨地域访问的需求,可以将单机数据库,改造成可跨多个数据中心采用异步复制、或半同步、以及强同步等方式,既可以保证数据库的多副本容灾,又可提升业务的读写效率,规避了单点故障对业务的影响和负载。

GreatADM提供的能力和价值:且在改造升级过程中,借助GreatADM管理平台,图形化改造,大大降低了架构改造的难度和效率。避免DBA手动黑屏命令方式的操作的繁冗复杂的操作命令,减少业务停机时长,同时释放人工操作的压力。

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是适用于金融级应用的国内自主开源数据库,具备高性能、高可靠、高易用性、高安全等多个核心特性,可以作为MySQL或Percona Server的可选替换,用于线上生产环境,且完全免费并兼容MySQL或Percona Server。

相关链接: GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区:

image

社区有奖建议反馈: https://greatsql.cn/thread-54-1-1.html

社区博客有奖征稿详情: https://greatsql.cn/thread-100-1-1.html

(对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~)

技术交流群:

微信&QQ群:

QQ群:533341697

微信群:添加GreatSQL社区助手(微信号:wanlidbc )好友,待社区助手拉您进群。

科技中介服务机构如何利用数智工具提升服务效率?.docx 科技中介服务机构如何利用数智工具提升服务效率? 立即下载

相关推荐

支付对账系统|Spring Cloud Alibaba微服务架构 分库分表+双边账比对引擎

一套基于 Spring Cloud Alibaba 的微服务支付对账系统完整工程,解决支付业务中"本地账与渠道账不一致"这一核心问题。技术栈为 JDK 8 + Spring Boot 2.7 + Spring Cloud 2021 + Nacos + OpenFeign + MyBatis-Plus + ShardingSphere 5.3 + Redisson + RocketMQ,共 8 个 Maven 模块、104 个 Java 文件、约 8800 行代码,含建表脚本与中间件编排文件。 工程按商户中心、渠道中心、结算中心、对账中心、调度中心、网关分层。核心实现有四块:一是双边账比对引擎,支持渠道单号优先、商户订单号回退的匹配主键,分位容差抹平,自动判定本地多单、渠道多单、金额不一致、状态不一致四类差异;二是差异处置策略,覆盖查单补偿、本地账补记、人工工单与挂账结转下期,并内置防资损约束——渠道查单接口失败时不判定为"渠道无此单",避免把超时误判成掉单而错误关闭已收款订单;三是分库分表落地,4 库 × 32 表,自定义按账期落表的分片算法,跨账期范围查询可精确裁剪表;四是渠道账单适配器,处理 GBK 编码、表头按列名定位、CSV 引号切分与金额元转分。网关侧实现了商户 HMAC-SHA256 签名验签加时间戳防重放、运营台 JWT 加登出黑名单双身份鉴权。另有雪花 ID、账期 T+N 计算、幂等切面、统一错误码与异常体系、对账任务状态机配分布式锁与乐观锁双保险。

探索GreatADM:图形化部署MGR的全新体验

通过GreatADM创建MGR的过程,可以看到GreatADM从一键脚本安装、再到创建MGR架构时主机、软件包管理、参数模板、环境预检、到完成,完全是流程化、模板化、规范化的交付。特别是在国产化的背景下,版本差异交付适配难、运维管理频踩坑、告警消息策略固化,各类告警无聚合压制、巡检诊断内容价值低廉、只有备份能力,恢复全靠人工,跨机房灾备无法统筹管理等问题。GreatADM针对上述问题逐个击破,使用户在面临多样化环境中,管理更加规范、直观、高效便捷。

GreatSQL2021的博客 359

科技中介服务机构如何实现服务流程的标准化与高效化?.docx

科技中介服务机构如何实现服务流程的标准化与高效化?

GreatSQL社区2023全年技术文章总结

GreatSQL社区自成立以来一直致力于为广大的数据库爱好者提供一个交流与学习的平台。在2023年,我们见证了社区的蓬勃发展,见证了众多技术文章的诞生与分享。此篇总结呈现GreatSQL社区2023年社区技术文章在优快云发布的全部。这些文章涵盖了GreatSQL、MGR、源码解析、故障解析、SQL优化、安装部署、等众多数据库技术文章。

GreatSQL2021的博客 1223

基于非对称纳什谈判的多微网电能共享运行优化策略(Matlab代码实现)

基于非对称纳什谈判的多微网电能共享运行优化策略(Matlab代码实现)内容概要:本文档标题为《Plecs全桥LLC谐振变换器仿真模型.txt》,但实际上内容并未围绕Plecs或全桥LLC谐振变换器展开详细论述,而是罗列了大量基于Matlab/Simulink和Python的科研仿真项目标题及相关技术方向,涵盖电力系统、无人机控制、微电网优化、路径规划、状态估计、信号处理、电动汽车调度、电力电子变换器等多个领域。其中包括多种优化算法(如粒子群、遗传算法、NSGA-II)、控制策略(如PID、MPC、滑模控制)、仿真建模(如LLC谐振变换器、DAB变换器、PWM整流器)以及具体应用场景的研究实现。尽管提及“隔离型全桥LLC谐振变换器建模及参数设计资料”,但全文缺乏对该主题的具体描述、模型细节或仿真分析,仅作为条目之一出现。因此,该文档实质是一份科研项目资源清单或代码合集目录,而非针对某一主题的深入文章。; 适合人群:具备一定Matlab/Simulink或Python编程基础,从事电气工程、自动化、控制科学、电力电子、新能源系统等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标:①为科研工作者提供丰富的课题参考与复现资源,涵盖优化调度、控制系统设计、电力电子仿真等方向;②辅助完成硕士/博士论文、期刊论文复现、课程设计或项目开发,提升研究效率与创新性;③通过已有模型和代码快速搭建仿真平台,聚焦算法改进与性能优化。; 阅读建议:此文档应作为科研资源索引使用,读者可根据自身研究方向筛选相关条目,结合配套代码与参考资料进行深入学习与实践。对于希望研究全桥LLC谐振变换器的用户,需注意本文档未提供完整内容,建议查找标注的“仿真+设计报告+计算书”等附件资源以获取详细信息。

高校技术转移办公室在推动成果转化过程中,如何高效完成技术成果的信息整合与价值挖掘.docx

科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。

分享一个MySQL自动化部署平台

MySQL运维管理平台是一款Web化工具,提供单机多实例部署、主从集群一键搭建等核心功能,通过可视化界面简化MySQL安装配置流程。支持GTID与传统binlog复制模式,自动生成差异化server-id,确保集群搭建成功。平台具有远程安装、批量管理、多用户安全控制等特点,采用模块化设计,未来计划扩展MGR集群、高可用方案等功能。适用于DBA运维、开发环境构建等场景,让MySQL部署更简单高效。

huanhuanzhou blog 509

高校技术转移办公室人员,如何精准挖掘并分析企业的技术需求?.docx

科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。

参数调整 新部署rac_zCloud如何进行自动化部署?

zCloud根据不同的业务场景需求、不同的操作系统版本,将Oracle、MySQL、Redis、PostgreSQL等数据库及集群的最佳实践部署,以自动化安装部署的方式,在保证数据库配置最佳化的同时也将过去繁琐的安装部署工作变成了一件极其简单的事情。zCloud v2.5 已经对Oracle 19c数据库做了全面支持。用户仅需几步引导配置,即可在十几分钟内自动部署一套单实例或一套RAC数据库集群,...

weixin_39956036的博客 217

隔离型全桥LLC谐振变化器建模及参数设计资料【仿真+设计报告+计算书】

内容概要:本文档是一套关于隔离型全桥LLC谐振变换器的综合性技术资料,系统涵盖了拓扑建模、参数设计、闭环控制策略及仿真验证等关键环节。资料整合了Simulink仿真模型、详细设计报告、Mathcad计算书以及控制算法说明文档,深入探讨了恒压恒流双闭环控制、变频与移相混合控制、软启动机制等核心技术,并提供了多应用场景实例,包括双向全桥LLC、多相交错LLC以及电动汽车V2G系统中的CLLC变换器设计。此外,配套资源还包含了多种先进控制与状态估计算法(如EKF、UKF、PF及其与神经网络融合算法)的Matlab实现代码,强化了科研复现与工程实践能力。; 适合人群:适用于电气工程、电力电子及相关专业的研究生、科研人员,以及从事高频开关电源、新能源变换器开发的工程师;需具备扎实的电路理论基础与一定的仿真软件操作经验。; 使用场景及目标:①支持全桥LLC变换器的高效参数设计与动态性能优化;②服务于高校或企业的科研项目,助力拓扑创新与控制系统开发;③作为毕业设计、学术论文或工业级产品原型开发的重要技术参考,提升系统效率、稳定性和响应速度。; 阅读建议:建议结合Simulink仿真模型与Mathcad计算书同步学习,重点关注谐振元件匹配、控制环路设计与系统稳定性分析,充分利用提供的Matlab/Simulink环境进行仿真调试与二次开发,深化理论认知与实际工程应用的融合。

三相交错并联Buck变换器+低纹波输出+双闭环控制仿真【附参考文献】(Simulink仿真实现)

内容概要:本文详细介绍了基于Simulink平台构建的三相交错并联Buck变换器仿真模型,重点实现了低输出纹波特性和双闭环控制策略。通过三相交错并联结构有效抑制输入与输出电流的纹波成分,显著提升电源系统的稳定性和电能质量;控制系统采用电压外环与电流内环相结合的双闭环架构,增强了系统的动态响应能力和抗干扰性能。资源包涵盖完整的Simulink仿真模型、技术说明文档及参考文献,具有较强的工程实践价值,适用于电力电子变换器的科研开发与教学实验。; 适合人群:电力电子、电气工程及其自动化等相关专业的高校本科生、研究生及科研人员,尤其适合从事直流变换器拓扑结构与先进控制策略研究的专业人士,具备电路理论基础和Simulink仿真操作经验者更佳。; 使用场景及目标:①用于高效低纹波DC-DC变换器的拓扑创新与控制算法研究;②支撑科研项目中对多相并联技术与双闭环控制系统的性能验证;③作为课程设计、毕业设计或实验教学的技术范例,帮助深入理解交错并联的工作机理与闭环系统的设计方法。; 阅读建议:建议结合所提供的参考文献系统学习控制策略的理论依据,并动手调整仿真参数以观察系统在不同工况下的动静态响应特性,进一步掌握模型搭建、控制器设计与性能优化的全流程,强化理论与工程实践的融合能力。

高校技术转移办公室人员在成果推介过程中,如何提升推介材料的专业性与吸引力.docx

科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。

产业园区运营负责人如何依托平台系统提升科技资源的集聚与转化效率?.docx

科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。

三电平Buck直流变换器双闭环、单闭环、开环仿真【附参考文献】(Simulink仿真实现)

内容概要:本文系统介绍了三电平Buck直流变换器在Simulink环境下的开环、单闭环及双闭环控制系统的建模仿真与性能对比分析,深入探讨了不同控制策略对系统动态响应、稳态精度、抗扰能力及鲁棒性的影响。通过构建完整的仿真模型,详细阐述了各控制结构的设计思路、关键模块实现方法及PI控制器参数整定过程,并结合仿真波形对比分析了三种控制方式在启动过程、负载突变等工况下的输出电压表现,充分验证了双闭环控制在抑制电压波动、提升调节速度和负载适应性方面的显著优势。文档还提供了详尽的参数设置指南和参考文献,便于读者复现结果并开展进一步研究。; 适合人群:电气工程、自动化、电力电子与电力传动等相关专业的本科生、研究生,以及从事直流变换器设计、控制算法开发和系统仿真的科研人员与工程技术开发者。; 使用场景及目标:①掌握三电平Buck变换器的工作原理与数学建模方法;②理解电压模式控制与电流模式控制的差异与应用场景;③学习双闭环PI控制器的设计流程与参数整定技巧;④为电力电子装置的控制器设计、性能优化及科研项目提供仿真验证平台与技术参考。; 阅读建议:建议读者结合Simulink软件动手搭建仿真模型,分步实现开环、单闭环与双闭环控制系统,通过调整控制器参数并观察不同工况下的系统响应,深入理解控制策略对系统性能的影响机制,同时结合提供的参考文献强化理论基础,实现从仿真到实际应用的有效过渡。

高校技术转移办公室如何提升技术成果的精准推介效率?.docx

科易网基于AI模型+行业大数据,在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,推出科技创新领域的AI+工具与数智化解决方案,推动科技创新与产业创新智能化发展。

YOLOv5 改进点总览:轻量化、高精度的背后有哪些魔改?

YOLOv5是由Ultralytics团队开发的高效目标检测模型,其核心改进包括:主干网络采用CSPDarknet53提升梯度传播效率;特征融合使用PANet增强小目标识别;输出结构采用解耦头设计优化定位和分类任务。此外,YOLOv5通过CIoU损失函数、Mosaic数据增强和SimOTA标签分配机制进一步提升性能。模型支持多种推理格式(ONNX/TensorRT等),并具备自动锚框匹配和多尺度训练功能,使其在轻量化(yolov5s仅7MB)与高性能(最高51.2% mAP)间取得平衡,但缺乏正式论文支撑是

guoguozgw的博客 1805
上一篇: 故障解析丨Clone节点导致主从故障
下一篇: GreatSQL社区与Amazon、Facebook、Tencent共同被MySQL致谢
GreatSQL社区
博客等级 码龄5年 1210粉丝 390原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值