【JavaP6大纲】MySQL篇:如何设计可以动态扩容缩容的分库分表方案?

MySQL 分库分表及其平滑扩容方案 MyCAT不仅仅可以用作读写分离,以及分表分库、容灾管理,而且可以用于多租户应用开发、云平台基础设施,让你的架构具备很强的适应性和灵活性。分表对于一张多行(记录)多列(字段)的二维数据表,又分两种情形(1)垂直分表竖向切分,不同分表存储不同的字段,可以把不常用或者大容量、或者不同业务的字段拆分出去;扩容前每个节点的数据,有一半要迁移至一个新增节点中,对应关系比较简单。此时,四个节点的数据都已完整,只是有冗余(多存了和自己配对的节点的那部分数据),择机清除即可(过后随时进行,不影响业务)。... 阅读详情

如何设计可以动态扩容缩容的分库分表方案?

对于分库分表来说,主要是面对以下问题:
选择一个数据库中间件,调研、学习、测试;
设计你的分库分表的一个方案,你要分成多少个库,每个库分成多少个表,比如 3 个库,每个库 4 个表;
基于选择好的数据库中间件,以及在测试环境建立好的分库分表的环境,然后测试一下能否正常进行分库分表的读写;
完成单库单表到分库分表的迁移,双写方案;
线上系统开始基于分库分表对外提供服务;
扩容了,扩容成 6 个库,每个库需要 12 个表,你怎么来增加更多库和表呢?
这个是你必须面对的一个事儿,就是你已经弄好分库分表方案了,然后一堆库和表都建好了,基于分库分表中间件的代码开发啥的都好了,测试都 ok 了,数据能均匀分布到各个库和各个表里去,而且接着你还通过双写的方案咔嚓一下上了系统,已经直接基于分库分表方案在搞了。
那么现在问题来了,你现在这些库和表又支撑不住了,要继续扩容咋办?这个可能就是说你的每个库的容量又快满了,或者是你的表数据量又太大了,也可能是你每个库的写并发太高了,你得继续扩容。这都是玩儿分库分表线上必须经历的事儿。

停机扩容(不推荐)

这个方案就跟停机迁移一样,步骤几乎一致,唯一的一点就是那个导数的工具,是把现有库表的数据抽出来慢慢倒入到新的库和表里去。但是最好别这么玩儿,有点不太靠谱,因为既然分库分表就说明数据量实在是太大了,可能多达几亿条,甚至几十亿,你这么玩儿,可能会出问题。
从单库单表迁移到分库分表的时候,数据量并不是很大,单表最大也就两三千万。那么你写个工具,多弄几台机器并行跑,1 小时数据就导完了。这没有问题。
如果 3 个库 + 12 个表,跑了一段时间了,数据量都 1~2 亿了。光是导 2 亿数据,都要导个几个小时,6 点,刚刚导完数据,还要搞后续的修改配置,重启系统,测试验证,10 点才可以搞完。所以不能这么搞。

第一次就分多一点

一开始上来就是 32 个库,每个库 32 个表,那么总共是 1024 张表。
我可以告诉各位同学,这个分法,第一,基本上国内的互联网肯定都是够用了,第二,无论是并发支撑还是数据量支撑都没问题。
每个库正常承载的写入并发量是 1000,那么 32 个库就可以承载 32 _ 1000 = 32000 的写并发,如果每个库承载 1500 的写并发,32 _ 1500 = 48000 的写并发,接近 5 万每秒的写入并发,前面再加一个 MQ,削峰,每秒写入 MQ 8 万条数据,每秒消费 5 万条数据。
有些除非是国内排名非常靠前的这些公司,他们的最核心的系统的数据库,可能会出现几百台数据库的这么一个规模,128 个库,256 个库,512 个库。
1024 张表,假设每个表放 500 万数据,在 MySQL 里可以放 50 亿条数据。
每秒 5 万的写并发,总共 50 亿条数据,对于国内大部分的互联网公司来说,其实一般来说都够了。
谈分库分表的扩容,第一次分库分表,就一次性给他分个够,32 个库,1024 张表,可能对大部分的中小型互联网公司来说,已经可以支撑好几年了。
一个实践是利用 32 * 32 来分库分表,即分为 32 个库,每个库里一个表分为 32 张表。一共就是 1024 张表。根据某个 id 先根据 32 取模路由到库,再根据 32 取模路由到库里的表。

刚开始的时候,这个库可能就是逻辑库,建在一个数据库上的,就是一个 MySQL 服务器可能建了 n 个库,比如 32 个库。后面如果要拆分,就是不断在库和 MySQL 服务器之间做迁移就可以了。然后系统配合改一下配置即可。
比如说最多可以扩展到 32 个数据库服务器,每个数据库服务器是一个库。如果还是不够?最多可以扩展到 1024 个数据库服务器,每个数据库服务器上面一个库一个表。因为最多是 1024 个表。
这么搞,是不用自己写代码做数据迁移的,都交给 DBA 来搞好了,但是 DBA 确实是需要做一些库表迁移的工作,但是总比你自己写代码,然后抽数据导数据来的效率高得多吧。
哪怕是要减少库的数量,也很简单,其实说白了就是按倍数缩容就可以了,然后修改一下路由规则。

这里对步骤做一个总结:
设定好几台数据库服务器,每台服务器上几个库,每个库多少个表,推荐是 32 库 * 32 表,对于大部分公司来说,可能几年都够了。
路由的规则,orderId 模 32 = 库,orderId / 32 模 32 = 表
扩容的时候,申请增加更多的数据库服务器,装好 MySQL,呈倍数扩容,4 台服务器,扩到 8 台服务器,再到 16 台服务器。
由 DBA 负责将原先数据库服务器的库,迁移到新的数据库服务器上去,库迁移是有一些便捷的工具的。
我们这边就是修改一下配置,调整迁移的库所在数据库服务器的地址。
重新发布系统,上线,原先的路由规则变都不用变,直接可以基于 n 倍的数据库服务器的资源,继续进行线上系统的提供服务。

勇闯BAT 讲一下你们项目上的分库分表以及如何设计可以动态扩容缩容的分库分表方案 分库分表方案最主要就是,把路由的key按照指定的算法进行路由存放。和。 阅读详情

相关推荐

USB3.0一致性测试方案

为各测试项目具体测试结果包括脉冲串突发时间、脉冲串重复时间、时钟周期以及眼图等完整USB3.0测试项目,工程师可以看到各项测试的具体结果方便观察。RIGOL 提供了一套完善的工具,包括数字示波器、专业的测试夹具以及全自动一致性测试软件,使得USB 3.0设备设计人员能够高效精确地进行信号捕捉、测试与分析。报告第二部分测试摘要,在此可以看到USB3.0测试所有测试项目,并且可以观看到测试是否正常,可以帮助工程师更好的判断测试结果。,以简化下载、存储以及对于多媒体的大量内容的共享。

2409_87378937的博客 2533

数据库分库分表及动态扩容缩容必知必会

数据库分库分表及动态扩容缩容必知必会 1、常见问题 为什么分库分表(设计高并发系统的时候,数据库层面该如何设计)? 用过哪些分库分表的中间件?不同的分库分表中间件都有什么有点和缺点? 常见高并发业务上,是如何对数据库进行垂直拆分和水平拆分的? 现在有一个为分库分表的系统,未来要分库分表,如何设计才可以让系统从未分库分表,动态切换到分库分表上? 如何设计可以动态扩容缩容的分库分表方案? 分库分表之后,id主键如何处理? 2、为什么要分库分表?(设计高并发系统的时候,数据库层面该如何设计?) 分库分表是两回

Seven71111的博客 5941

某商场G区火灾自动报警与控制系统设计

某商场G区火灾自动报警与控制系统设计 摘要:随着我国经济建设的迅速发展,人民生活水平不断提高,城市用地日益紧张,促使建筑物正朝着高层化、密集化方向发展。高层建筑的特点决定其火灾的危险性和高层建筑的火灾自动报警系统的重要性,一套完整的火灾自动报警及联动控制系统是高层建筑发生火灾时人们生命财产的有利保障,是能否快速准确地发现火情,把火灾扑灭在萌芽状态的关键所在。文章通过消防设计,论述了火灾自动报警及消...

weixin_44026784的博客 5371

【转载】如何设计可以动态扩容缩容的分库分表方案?

如果你们公司之前已经做了分库分表,你们当时分了 4 个库,每个库 4 张表;公司业务发展的很好,现在的数据库已经开始吃力了,不能满足快速发展的业务量了,需要进行扩容。 1)停机扩容 这个方案跟单库迁移方案是一样的,就是停服进行数据迁移,不过现在的数据迁移比之前的单库迁移要复杂的多,还有数据量也是之前的好几倍,单库的数据量可能就几千万,但是现在是 12 个表,那么数据量是几十亿,可能光数据迁移就...

Kevin_Gu6的博客 1290

注册电气工程师详细教材

注册电气工程师详细教材

qq_40844444的博客 4262

vsomeip3 双机通信文件配置

验证环境 vsomeip地址Android运行命令,红色的地方需要和配置文件一样Linux运行命令,红色的地方需要和配置文件一样Linux service配置文件 ,红色的地方需要更改Android client配置文件,红色的地方需要更改,蓝色的地方可不要 ...

m0_37132481的博客 5223

分库分表数据扩容方案探究—思维链

为了有效解决数据量不断增加从而导致的数据库访问性能降低的问题,采用了分库分表的方案,但这种方式也会带来新的难题,如后续的数据扩容难度增大。面对该问题进行了方案探讨。(温馨提示:本文没有过多的干货,更多为推理过程。)

猫步轻移,以学求知。余于此方寸之地,如猫观鼠,细察技艺所得,思维所悟。灵思如猫之警觉,日积月累,终成智海; 850

【STM32】基于STM32F103C8T6实现步进电机精准调速控制

本文详细介绍了如何使用STM32F103C8T6微控制器实现步进电机的精准调速控制。通过利用其内置定时器生成PWM脉冲,替代低效的延时方法,并结合TB6600驱动器进行硬件连接,可实现平滑、高效的电机速度控制。文章提供了基于HAL库的代码实战,包括速度与方向设置函数,并探讨了加减速规划等高级应用,帮助开发者彻底掌握步进电机驱动技术。

weixin_29169899的博客 486

java分库分表如何动态配置多个数据源

要实现通过传入不同的参数值来操作不同的数据库,可以使用Spring框架中的AbstractRoutingDataSource类。这个类继承自javax.sql.DataSource,并实现了Spring的DataSource接口。它可以根据设置的数据源路由key自动切换不同的数据源。

不断奔跑的轮子 652

AI驱动芯片设计的端到端验证:AI应用架构师的全流程指南

想象你要建造一座1000层的超级摩天大楼,每个房间都有独特的功能,管道、电路、电梯系统交织如迷宫。传统的检查方式是派1000个工程师逐层逐房手动检查,耗时十年且仍可能遗漏火灾隐患。这就是今天芯片设计面临的困境:7nm芯片含百亿晶体管,相当于百亿个"房间",传统验证方法(人工编写测试用例、随机仿真)已难以应对。本文的目的,是为AI应用架构师提供一份"AI驱动芯片验证导航图",范围涵盖从验证需求分析到芯片签核的全流程,包括AI模型如何融入传统验证工具链、数据如何驱动验证效率提升、以及端到端闭环系统的构建方法。

2501_92132293的博客 1243

Coze智能体开发:扣子空间制作PPT功能

扣子空间内置了丰富的场景模板,涵盖人文历史、学术分享、研究报告、数据分析等场景,可以满足不同用户的需求。 你只需输入与制作 PPT 相关的提示词,Agent 就能基于这些提示词展示思考的过程,并自动生成完整的 PPT。

王国平的博客 2054

分库分表的面试题3

1、面试题   如何设计可以动态扩容缩容的分库分表方案?   2、面试官心里分析   (1)选择一个数据库中间件,调研、学习、测试 (2)设计你的分库分表的一个方案,你要分成多少个库,每个库分成多少个表,3个库每个库4个表 (3)基于选择好的数据库中间件,以及在测试环境建立好的分库分表的环境,然后测试一下能否正常进行分库分表的读写 (4)完成单库单表到分库分表的迁移,双写方案 ...

yinni11的博客 4483

智元机器人开源具身仿真框架 Genie Sim 入门教程

GenieSim是AgiBot推出的具身智能仿真框架,提供完整闭环开发管道,包括轨迹生成、模型训练和基准测试。框架支持Docker容器化部署,要求Ubuntu 22.04和NVIDIA硬件环境。主要功能涵盖: 支持12种基准测试任务 提供ADER评估框架 集成UniVLA/RDT等基线模型 支持PICO/键盘遥操作 具备轨迹记录回放功能 提供完整API控制接口 开发者可通过Hugging Face获取场景资产,使用标准化ROS主题与仿真环境交互。框架特别优化了碰撞检测和抓取物理模拟,适用于从简单抓取到复杂操

2506_90492529的博客 2545

动态扩容缩容的分库分表方案

1、面试题 如何设计可以动态扩容缩容的分库分表方案? 2、面试官心里分析 (1)选择一个数据库中间件,调研、学习、测试 (2)设计你的分库分表的一个方案,你要分成多少个库,每个库分成多少个表,3个库每个库4个表 (3)基于选择好的数据库中间件,以及在测试环境建立好的分库分表的环境,然后测试一下能否正常进行分库分表的读写 (4)完成单库单表到分库分表的迁移,双写方案 ...

qq690452074的专栏 1261

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

如何设计可以动态扩容缩容的分库分表方案?

这个是你必须面对的一个事儿,就是你已经弄好分库分表方案了,然后一堆库和表都建好了, 基于分库分表中间件的代码开发啥的都好了,测试都 ok 了,数据能均匀分布到各个库和各个 表里去,而且接着你还通过双写的方案咔嚓一下上了系统,已经直接基于分库分表方案在搞 了。那么现在问题来了,你现在这些库和表又支撑不住了,要继续扩容咋办?这个可能就是说你的 每个库的容量又快满了,或者是你的表数据量又太大了,也可能是你每个库的写并发太高了, 你得继续扩容。这都是玩儿分库分表线上必须经历的事儿。

一位打工仔的博客 365

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

面试题——如何设计可以动态扩容缩容的分库分表方案?

面试题 如何设计可以动态扩容缩容的分表分库方案? 面试官心理分析 对于分表分库来说,主要是面对以下问题: 选择一个数据库中间件,调研、学习、测试 设计一个分表分库的方案,需要分成多少个库,每个库分成多少个表,比如3个库,每个库3个表 基于选择好的数据库中间件,以及在测试环境建立好的分表分库环境,然后测试以下能否正常进行分表分库的读写 完成从单表单库到分表分库的迁移,双写方案 线上系统开始基于分表...

工作总结博客 475

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

数据库分库分表扩缩容方案

一. 为什么在分库分表的场景下需要扩容 需要为数据库集群考虑扩容的原因一般有如下两点: 1. 数据库所在服务器的磁盘空间不足。(当然也可以加磁盘) 2. 读写请求并发量超过了数据库集群能承载的极限。 二. 如何扩容 首次进行数据库规划时,尽可能地考虑极限情况。起初可能租用地服务器数量较少,但是我们可以在每一台服务器上部署尽可能多地数据库实例,这点是方便后期扩容的关键。 举个例子,比如刚开始我们只租用了4台服务器,但每台服务器上部署了8个数据库实例和32张数据表。 假如使用Mysql数据库,

爱喝咖啡的程序员的博客 1404

mysql7--分库分表动态扩容

一、扩容原因 1)数据库并发瓶颈 当前你给我的那四台机器啊,随着业务的猛增,相关请求并发已经超过了我们现在数据库服务器的并发范围 2)分的库表数据已经快满了 当前数据库表装不下了,又到了上亿的数据,服务器磁盘容量也不够存储了 二、切分策略 1. 查询切分 将ID和库的Mapping关系记录在一个单独的库中。 查询切分 优点:ID和库的Mapping算法可以随意更改。 缺点:引入额外的单点。 2. 范围切分 比如按照时间区间或ID区间来切分。 范围切分 优点:单表大小可控,天然水平扩展。 缺点:无法解决集

shining曙光的博客 1737

Mysql数据库扩容与数据迁移

停止服务之后, 能够保证迁移工作的正常进行。但是服务停止,伤害用户体验, 而且造成了时间压力, 必须在指定的时间内完成迁移,且不能出错,每一步都要有回滚预案。

u014518603的博客 2888

【分库分表】MySQL分库分表

MySQL分库分表平滑扩容扩容方案,包括连续分片(范围分片)、一致性哈希分片、双倍扩容策略

m0_63011748的博客 467

分库分表,我只说一次

随着互联网的高速发展,很多公司的单表数据量在短短几年甚至几个月就达到了系统瓶颈。这时候为了解决单表的查询性能,需要应用上分库分表。而由于一开始的设计问题,和对分库分表方案的思考不全面,很容易引起后期扩展与维护的灾难。作为一位合格的程序员,无论公司当前是否有需要用到分库分表,我们都有必要了解整体的设计与方案,以备不时之需。 为什么需要分库分表 当单表的数据量过大时,对于表结构的修改,会引起长时间的锁等待,进而撑爆线程数。 单表数据量过大,会导致b+树的层级变高,大于3层后甚至会影响索引的查询性能 同库

2143
上一篇: Docker:第六章:Docker部署项目
下一篇: 基于docker安装配置mysql,mongodb,redis
Java程序员廖志伟
Java程序员廖志伟 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄8年 2万+粉丝 1902原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java程序员廖志伟

赏我包辣条呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值