MySQL分库分表的最佳实践

【干货】分库分表最佳实践 何时分库分表 MySQL单表(innoDB)可以存储10亿级数据,只是这时候性能比较差,业界公认MySQL单表容量在1KW以下是最佳状态,因为这时它的BTREE索引树高在3~5之间。 参考阿里开发手册建议: 1.单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表;如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。 2.实际情况受mysql机器配置等多方面影响,可能数据量很大但性能依旧不错,但考虑后续发展一定要进行分库分表考虑。 如何分库分表 设置合适的分片 阅读详情

何时分库分表

MySQL单表(innoDB)可以存储10亿级数据,只是这时候性能比较差,业界公认MySQL单表容量在1KW以下是最佳状态,因为这时它的BTREE索引树高在3~5之间。

参考阿里开发手册建议:

1.单表行数超过 500 万行或者单表容量超过 2GB,才推荐进行分库分表;如果预计三年后的数据量根本达不到这个级别,请不要在创建表时就分库分表。

2.实际情况受mysql机器配置等多方面影响,可能数据量很大但性能依旧不错,但考虑后续发展一定要进行分库分表考虑。

如何分库分表

设置合适的分片数量

根据实际的业务场景选择合适的分片数据,参考如下:

  • 满足当前数据平均后的数据量在一个合理的范围(<=100w)
  • 预估未来5年的数据量发展情况,数据量在一个合理的范围(500w左右,有合理的归档备份机制)

选择合适的分片字段

根据实际的业务场景选择适当的分片字段,要达到如下要求:

  • 字段类型常规
  • 字段不易过多
  • 字段应该是业务场景大多数都会被使用的

设计合理的分片规则

分表数量和分表字段确定后,要设计一个合理的分表规则,良好的分表规则要达到如下条件:

  • 规则计算高效,逻辑清晰
  • 规则计算后,分片数据均匀
  • 方便后续扩容分片

如何保证分片数据均匀,参考:

  • 分片字段本身就是随机均匀的,可以直接使用
  • 分片字段随机,但不均匀,如对总分片取模后,会导致数据不均匀,建议先对分片字段进行2次随机处理(如:zebra提供的:md5/crc32 方法)

如何保证方便后续分片扩容,参考:

  • 如果是按照时间或数值范围进行分片,只需要创建分片库表,修改分片规则,立即生效
  • 如果是hash分片,条件允许可考虑停服迁移,停止服务,将数据按新分片规则进行迁移,修改分片规则,启动服务
  • 某些情况下可考虑升级从库,如2分库扩容为4分库,可将从库升级为主库并修改分片规则,后续可将冗余的数据进行清除并补上缺失的从库。
  • 数据库双写,同时按新老分片规则写入两套物理表,并逐渐下线老数据模型,可参考-新老迁移参考

SQL使用注意

如何高效的使用分库分表,核心是做到尽量的路由到最少的表,最好是只路由到一个表里面

核心规则如下:

  • 能带分片字段的就尽量把其带上
  • 尽量不使用范围查询
  • 无分片使用limit时不要查询太靠后的数据
  • 尽量不要使用复杂的sql
  • sql写法尽量规范

新老迁移方案参考

阶段一

  • 数据库双写(事务成功以老模型为准),查询走老模型。
  • 每日job数据对账,并将差异补平。
  • 通过job导历史数据。

阶段二

  • 历史数据导入完毕并且数据对账无误。
  • 依然是数据库双写,但是事务成功与否以新模型为准,在线查询切新模型。
  • 每日job数据对账,将差异补平。

阶段三

  • 老模型不再同步写入,异步补齐(同步数据终态)。
  • 此阶段只有离线数据依然依赖老的模型,并且下游的依赖非常多,待改造完就可以完全废除老模型了。
MySQL十九:分库分表实践 大型应用系统需要处理大量用户的请求,比如微信,美团,淘宝等每天都会产生海量的数据,我们知道当数据量或者请求数达到一定数量之后,数据库就会产生性能瓶颈,而为了缓解数据量的压力,比较普遍的方案一方面是使用NoSQL,而另一方面就是分库分表。通过以上分别对【垂直分表、垂直分库,水平分表、水平分库】的分析,可以看出来无论是分库还是分表,垂直划分和水平划分的时候,他们的优缺点很类似,所以接下来总结一下分库分表解决了什么问题/引发什么问题。随着业务快速发展,数据库中的数据量猛增,所有的数据限制在一台服务器,... 阅读详情

相关推荐

MySQL分库分表策略详解:从理论到实践的最佳方案

分库分表是应对海量数据的高阶解决方案,需要根据业务特点选择合适策略。理想的架构应该:满足未来3-5年的业务增长保持合理的复杂度预留扩展空间具备完善的监控体系记住:没有完美的分片方案,只有最适合业务现状的权衡选择。希望本文能为您的分库分表实践提供全面指导。

vvilkin的学习备忘 1706

mysql数据库在建表的时候,这个表最合理是建多少个字段合适?也就是说最好有多少列最合理?

本文关于字段、记录、行大小的数量限制和合理取值。 字段数量 以mysql为例,实践经验是不超过20的字段。 字段首先符合设计范式要求,自然就有合理的字段数量了,其次假设当某表的字段仍然太多时,可以根据业务情况进行拆分,比如根据常用字段和非常用字段将一张表拆分成两张。 Row Size 单条记录的大小不应超过硬盘的扇区大小,一般是4k 单张表多少个字段其实没有什么定论,只要不超过数据库限定的个数就好,但是表的单条记录的大小是有合理空间的,也就是需要根据具体硬件和操作系统来确定单条记录(row si

AlbenXie的博客 1万+

Cadence IC618/Spectre231安装避坑指南:详解环境变量配置与License管理那些事儿

本文深入解析Cadence IC618/Spectre231安装过程中的环境变量配置与License管理难题,提供从变量冲突解决到高效License管理的实用方案。针对常见的64位标识冲突、路径污染及License服务器连接问题,给出具体诊断步骤和优化建议,帮助用户构建稳定可靠的EDA环境。

weixin_33737134的博客 620

分库分表的实践经验:如何在实际项目中顺利应用分库分表技术

1.背景介绍 分库分表是一种常见的数据库设计方法,用于解决数据库性能和可扩展性问题。在大型网站或应用中,数据量和查询压力都非常大,如果不采取分库分表的方式,可能会导致性能瓶颈和系统崩溃。因此,了解分库分表的实践经验和技术细节非常重要。 本文将从以下几个方面进行阐述: 1.背景介绍 2.核心概念与联系 3.核心算法原理和具体操作步骤以及数学模型公式详细讲解 4.具体代码实例和详细解释说明 5....

AI天才研究院 988

Zephyr、FreeRTOS 和 RT-Thread

你是…更适合用嵌入式新手,刚接触 RTOSFreeRTOS(入门简单)IoT 项目开发,需要 BLE/WiFi/MQTTZephyr(协议全)想快速构建可部署的产品Zephyr(模块统一)只做单个任务或简单状态机控制FreeRTOS(轻量)做平台化、持续集成、自动测试Zephyr(CI 支持强)

is0815的博客 2249

[ESP32]:基于esp-modbus实现serial主机

[ESP32]:基于esp-modbus实现serial主机

LINKKEEE的博客 2571

数据库 数据分库分表 分库分表策略选择

一.概述 数据库数据分片,分垂直分片和水平分片。由于大部分公司按照业务拆分事业部门和小组,所以天然就是垂直分片。 数据库数据垂直分片,单实例有性能瓶颈,后期只能通过水平分片提高数据处理能力。 数据库水平分片采用分库分表形式。分库还能够用于有效的分散对数据库单点的访问量。分库和分表均可以有效的避免由数据量超过可承受阈值而产生的查询瓶颈。 数据库水平分片,会增加数据实例数,减少单个实例单个库的压力,增加数据TPS操作能力,也能增加QPS操作能力,但Q...

oQiuQian的博客 1708

告别时钟树平衡噩梦:在Innovus中巧妙设置stop/ignore pin来优化分段时钟网络

本文深入探讨了在Innovus工具中利用stop/ignore pin优化分段时钟树网络的高阶技巧。针对数字IC后端设计中的时钟树平衡难题,详细解析了特殊引脚属性的战略应用场景和配置方法,帮助工程师有效解决SoC设计中复杂的时钟结构问题,显著提升时序收敛效率。

weixin_30836759的博客 296

MySQL 分区表深度实践:HASH、LIST 分区及与分库分表对比,实际项目中的最佳实践

MySQL分区表与分库分表对比摘要 MySQL分区表(HASH/LIST分区)适合单机大数据量场景,通过物理拆分提升查询性能和管理效率,对应用透明。分库分表则适合超大规模数据和高并发场景,实现真正水平扩展但复杂度高。 关键区别: 分区表是单库内物理拆分,分库分表是跨库逻辑拆分 分区表无需改SQL,分库分表需要路由逻辑 分区表扩展性有限,分库分表可无限扩展 选型建议: 单机千万级数据选分区表 亿级数据需水平扩展选分库分表 考虑业务增长、运维成本和团队能力

JanelSirry's Blog 1134

004.PADS VX2.4常用快捷键及无模命令

PADS系列文章

qq_36492361的博客 4967

orange软件:入门使用

orange做数据分析契机实验手册目录orange软件部分界面展示小试牛刀:数据导入和展示小试牛刀:散点图绘制总结 契机 今天在上大数据时代实验课,作为一名软件工程专业的大三学生,在上这节公选课之前就决定这节课做完这个学期所有的实验报告,可以说“有亿点”不屑;尤其当老师说Python很麻烦的时候,我更是震惊了,因为我接触过这么多编程语言,Python真的很友好了,很傻瓜,但是当老师打开实验手册的时候,我真香了!!!下面先来看看手册的目录: 实验手册目录 为什么会真香呢,因为目录里这些有好多机器学习算法!

weixin_45880844的博客 1万+

【MySQL】MySQL 分库分表与读写分离:应对百万并发的最佳实践

在当今大数据时代,面对高并发请求,单一 MySQL 实例往往难以承载如此庞大的负载。为了提高系统性能和可靠性,合理的数据库设计和架构优化至关重要。本文将详细探讨如何通过分库分表与读写分离的策略,帮助 MySQL 有效应对百万级的并发量。

人生苦短,睡觉要紧,睡醒再说 1713

计算机视觉(角点检测)- 1 - Harris角点检测

计算机视觉(角点检测)-1.1 Harris角点检测学习前言 学习前言   今天更新一下计算机视觉的东西吧,哈哈哈o( ̄︶ ̄)o   关于角点检测呢,就是检测图像中角点的算法,常见的有四种常见的算法:Moravec角点检测算法、 Harris角点检测算法、Shi-Tomasi 算法、FAST角点检测算法,不过常用的就两种吧——Harris角点检测算法、Shi-Tomasi 算法(反正我基本上就只用到这两种,先着重介绍前面两种,后面再花世界介绍吧)(~ ̄▽ ̄)~ ...

qq_40374812的博客 1万+

mysql 分库原则_数据库分库分表最佳实践及说明

数据库瓶颈不管是IO瓶颈还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务service来看, 就是可用数据库连接少甚至无连接可用,接下来就可以想象了(并发量、吞吐量、崩溃)。IO瓶颈第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询会产生大量的IO,降低查询速度->分库和垂直分表第二种:网络IO瓶颈,请求的数据太多,网络...

weixin_34621309的博客 1184

【51单片机仿真】基于51单片机设计的多功能电子时钟日历(实时时钟闹钟秒表温度检测)系统__资料编号5

该项目是基于单片机的多功能电子时钟系统,集成了时间显示、闹钟设置、秒表功能以及温度显示等功能。主要硬件包括1602液晶显示屏、DS1302时钟芯片、DS18B20温度传感器和蜂鸣器。系统通过按键进行时间和闹钟的设置,并实时显示当前时间和温度。

嵌入式阿齐Archie 2万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

novel小说系统数据库设计最佳实践:MySQL 8.0与分库分表策略

在当今数字化阅读时代,novel小说系统作为一款功能强大的在线阅读平台,其数据库设计直接影响着系统的性能、扩展性和用户体验。本文将深入探讨novel小说系统的数据库架构设计,重点分析MySQL 8.0的优化特性以及分库分表策略的实现。 ## 📊 核心数据库架构设计 novel小说系统采用模块化的数据库设计,将不同的业务功能分散到不同的数据表中,确保数据的一致性和查询效率。 **用户管理模块

gitblog_00070的博客 444

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

mysql分库分表 瓶颈_数据库分库分表最佳实践附源码

原标题:数据库分库分表最佳实践附源码更多摄影技巧 第一时间直达 前言当数据库的数据量过大,大到一定的程度,我们就可以进行分库分表。那么基于什么原则,什么方法进行拆分,这就是本篇所要讲的。数据库瓶颈不管是 IO 瓶颈还是 CPU 瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务 Service 来看, 就是可用数据库连接少甚至无连接可用,接下来就可以想...

weixin_36155754的博客 468

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

MySQL 分库分表

MySQL,分库分表

@chen 608

元数据解决分表不可 mysql_说说分库分表的一个最佳实践

概述分布式数据库已经流行好多年,产品非常众多,其中分布式数据库中间件使用场景最广。本文主要是总结如何基于分布式数据库中间件做数据库架构设计,以充分发挥它的分布式能力。各个中间件产品功能核心原理相同,细节上有些区别。这里仅以阿里云的DRDS为例分析,在产品架构、功能、成熟度和市场占有率上,它都比同行产品有优势。首先为了避免被误解为:「手里有把锤子,看什么都是钉子!」,说明一下不是什么业务都适合分布式...

weixin_42127369的博客 275

MySQL优化全攻略:索引、SQL与分库分表的最佳实践

然后关键字被排序,并按排序顺序检索行。而索引字段是字符串,而输入的是整型,由于是字符串转数字,而索引不是整型类型,所以索引失效了。对于大分页的场景,可以优先让产品优化需求,如果没有优化的,有如下两种优化方式, 一种是把上一次的最后一条数据,也即上面的c传过来,然后做“c < xxx”处理,但是这种一般需要改接口协议,并不一定可行。不过,从 MySQL 8.0 开始,索引特性增加了函数索引,即可以针对函数计算后的值建立一个索引,也就是说该索引的值是函数计算后的值,所以就可以通过扫描索引来查询数据。

kfashfasf的博客 407

MYSQL分库分表详细讲解

在实际应用中,开发者需要根据具体的业务需求,选择合适的分片策略和实现方式,并在实施过程中持续监控和优化,确保系统的稳定性和高效性。分库分表的核心是数据的“分片”(Sharding),即将数据按一定规则拆分到不同的数据库或表中。中间件提供了一种透明化的分库分表方案,开发者无需关心数据的具体分布,中间件负责数据的路由和查询。通过分库分表,可以实现数据的分布式存储,降低单点故障的影响。分库分表后,事务处理变得复杂。分库分表虽然解决了许多问题,但也引入了新的挑战,如分布式事务管理、跨库查询的复杂性、数据一致性等。

lssffy的博客 1224

2024年这四种情况下,才是考虑分库分表的时候!,GitHub标星1w的Java架构师必备技能

无论是哪家公司,都很重视基础,大厂更加重视技术的深度和广度,面试是一个双向选择的过程,不要抱着畏惧的心态去面试,不利于自己的发挥。同时看中的应该不止薪资,还要看你是不是真的喜欢这家公司,是不是能真的得到锻炼。针对以上面试技术点,我在这里也做一些分享,希望能更好的帮助到大家。本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友,可以点击这里获取望能更好的帮助到大家。

2301_82241675的博客 840

mysql日志表分库_MYSQL分库分表总结

单库单表单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。单库多表随着用户数量的增加,user表的数据量会越来越大,当数据量达到一定程度的时候对user表的查询会渐渐的变慢,从而影响整个DB的性能。如果使用mysql, 还有一个更严重的问题是,当需要添加一列的时候,mysql会锁表,期间所有的读写操作只能等待。可以通过某种方...

weixin_42517317的博客 601

MySQL 分库分表:Sharding-JDBC 实战,解决数据量过大问题

随着业务的持续发展,分库分表技术将成为高并发系统的核心基础设施,而 Sharding-JDBC 作为成熟的中间件,无疑是企业级应用的理想选择。此时,分库分表成为解决数据存储瓶颈的关键技术手段,而 Sharding-JDBC 作为一款轻量级的分库分表中间件,凭借其易用性和灵活性,成为众多企业的首选方案。上述配置中,订单表根据user_id取模分库(db0 或 db1),根据order_id取模分表(t_order_0 或 t_order_1)。若需进一步提升性能,可配置读写分离,将读请求路由到从库:​。

2509_93051135的博客 1020
上一篇: 为什么MySQL数据库索引选择使用B+树?
下一篇: 完蛋,公司被一条 update 语句干趴了!
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值