数据库分库分表设计

已于 2024-03-13 14:29:42 修改
阅读量2.4k 收藏 6
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： 架构 中间件 数据库
于 2022-02-14 15:59:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xing_jian1/article/details/122925886
本文介绍了数据库分库分表的概念、中间件选择，如Cobar、TDDL、Atlas、Sharding-jdbc和Mycat，并详细讨论了分库分表的策略，包括水平拆分和垂直拆分。数据迁移方案包括停机迁移和双写迁移，以及如何处理分库分表后的id主键问题，提出了如snowflake算法等解决方案。

目录

什么是分库分表

分库分表中间件有哪些

Cobar

TDDL

Atlas

Sharding-jdbc

Mycat

怎么分库分表

水平拆分

垂直拆分

数据迁移方案

停机迁移方案

双写迁移方案

停机扩容

分库分表之后，id主键如何处理

什么是分库分表

设计高并发系统数据库层面的设计，有些系统可能光分库不分表，也可能是光分表不分库，视业务需求而定。

例如有一个小公司运营一个系统，注册用户20万，每天活跃用户1万，每天单表数据量1000，然后高峰期每秒钟并发请求最多就10个。后来由于公司业务发展迅猛，过了几个月注册用户数达到了2000万 每天活跃用户数100万 每天单表数据量10万条，高峰期每秒最大请求达到1000，然后连续融资了两轮，进账几个亿估值达到几亿美金。每天单表数据量10万条数据，一个月就300万条数据。高峰期请求现在是1000，线上部署几台机器，负载均衡搞一下，数据库撑1000QPS也还凑合。接下来几个月公司用户数达到1亿，继续融资几十亿人民币，估值达到了几十亿美金。此时每天活跃用户数上千万，每天单表新增数据多达50万，目前一个表总数据量已经达到了两三千万了，数据库磁盘容量不断消耗掉，高峰期并发达到的5000~8000。这种情况下为了提升系统的并发和性能一般就需要分库分表了，业务发展越好，用户就越多，数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
分库分表后非分片键如何查询？
m0_71777195的博客
03-10 2665
我们知道在分库分表中对于toC业务来说，需要选择用户属性如 user_id 作为分片键，不推荐使用order_id这样的作为分片键。那问题来了，对于订单表来说，选择了user_id作为分片键以后如何查看订单详情呢？由于查询条件中的order_id不是分片键，所以需要查询所有分片才能得到最终的结果。如果下面有 1000 个分片，那么就需要执行 1000 次这样的 SQL，这时性能就比较差了。
sqlserver分库分表后如何分页查询
极客神殿
09-07 1281
在SQL Server中进行分页查询时，需要考虑到数据可能被分散存储在不同的库和表中。下面提供两种分页查询的方法，分别针对水平分库和垂直分表的情况。需要注意的是，在进行垂直分表的分页查询时，需要保证每个表中的列名和数据类型一致，否则可能会出现类型不匹配的错误。水平分库是指将数据按照某个条件分散存储在多个数据库中。垂直分表是指将一个表按照列的维度拆分成多个表。将多个表中的查询结果合并到一起，并按照指定的排序字段进行排序。然后再对合并后的结果进行分页处理。在上述示例代码中，我们使用。
玩转MySQL：一站式解决分库分表后患问题方案
Java_LingFeng的博客
12-15 2838
上篇分库分表文章中已经将分库分表的方法论全面阐述清楚了，总体看下来用一个字形容，那就是爽！尤其是分库分表技术能够让数据存储层真正成为三高架构，但前面爽是爽了，接着一起来看看分库分表后产生一系列的后患问题，注意我这里的用词，是一系列而不是几个，也就是分库分表虽然好，但你要解决的问题是海量的。
又拍网架构中的分库设计
cpongo5
06-11 207
又拍网是一个照片分享社区，从2005年6月至今积累了260万用户，1.1亿张照片，目前的日访问量为200多万。5年的发展历程里经历过许多起伏，也积累了一些经验，在这篇文章里，我要介绍一些我们在技术上的积累。\又拍网和大多数Web2.0站点一样，构建于大量开源软件之上，包括MySQL、PHP、nginx、Python、memcached、redis、Solr、Hadoop和RabbitMQ等等。又拍...
高并发下数据库分库分表面试题整理
jsbintask的博客
02-17 8138
面试题1 为什么要分库分表（设计高并发系统的时候，数据库层面该如何设计）？用过哪些分库分表中间件？不同的分库分表中间件都有什么优点和缺点？你们具体是如何对数据库如何进行垂直拆分或水平拆分的？ 面试题剖析 为什么要分库分表？（设计高并发系统的时候，数据库层面该如何设计？） 说白了，分库分表是两回事儿，大家可别搞混了，可能是光分库不分表，也可能是光分表不分库，都有可能。 我先给大家抛出来一个场景。 ...
MySQL：互联网公司常用分库分表方案汇总！_数据库分库分表设计方案中,s方案
2401_84103844的博客
04-30 1100
看完美团、字节、腾讯这三家的一二三面试问题，是不是感觉问的特别多，可能咱们真的又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。开篇有提及我可是足足背下了Java互联网工程师面试1000题，多少还是有点用的呢，换汤不换药，不管面试官怎么问你，抓住本质即可！能读到此处的都是真爱Java互联网工程师面试1000题。
数据库分库分表思路.docx
05-15
总之，数据库分库分表是应对大数据挑战的重要手段，它通过将数据分散存储，降低了单一数据库的压力，提高了查询效率，但也引入了新的挑战，需要在设计和实现时充分考虑各种因素，以平衡系统性能、开发复杂度和数据...
MariaDB数据库分库分表设计的java开源应用
易之阴阳，量子纠缠，道之一体，缘起性空
03-28 622
ShardingSphere 提供了灵活的分片策略，包括基于列、基于范围和基于哈希的分片算法。MyCAT 是一个开源的、基于 MySQL 协议的数据库中间件，它支持数据分片、读写分离、跨节点联合查询、全局序列等功能。总之，在实际的Java项目中，选择一个合适的数据库中间件，并根据其API和最佳实践，配合MariaDB的Spider插件或者直接对数据库进行分片操作，就可以构建出一套稳定高效的分库分表架构。DBShards 是一个轻量级的 Java 分库分表库，它支持基于列、范围和哈希的分片策略。
[转载]数据库分库分表设计
叶知秋
05-31 155
http://hi.baidu.com/edilyxin/item/508c790cfacc7f103b53ee28   http://www.cnblogs.com/zhangji/archive/2010/09/09/1822177.html
数据库分表浅见
小蔡的专栏
08-07 9398
 从建房子说起      记得小时候，我爸，大伯，叔叔都是在祖屋里住着的，后来我爸和叔叔都在村子里建了房子，都搬出来了。这也是很顺理成章的事情，因为原有的祖屋已经不足以住下我们的一大家子人了。      不过，这时就会有一个问题，就是在不知情也没有其他信息的前提下，怎么根据姓名来判断他是住在祖屋还是新屋呢？最简单最笨的方法，当然是先在祖屋找，没找到就再到新屋找，但是新屋比较多或者两个屋
数据库分表分库设计
weixin_30421525的博客
07-09 147
数据库分表分库设计 转载于:https://www.cnblogs.com/cuiqq/p/11156223.html
分库分表查询问题
shaolong1013的博客
06-02 1792
1、两字段查询，基因法：uid，orderid orderid=唯一id+uid，这样做hash可以保证再同一个表 2、多个字段：映射表 3、es+hbase：大数据量情况下，es中只放需要用到查询条件的字段，全量字段放在hbase中，在es中查出对应的key，然后根据key去hbase中拿到全量数据。 ...
MySQL分库分表之带来查询相关问题
最新发布
z1299236067的博客
02-27 2241
在MySQL中使用分库分表会带来一系列的问题，分库分表的关键项之一是拆分键的选取，一般情况下，拆分键的选取遵循以什么维度进行查询就选取该维度为拆分键。如：订单表就以订单号作为拆分键，商品表就以商品编号作为拆分键。但是拆分键选取后，对于一些非拆分键的查询，范围查询、多条件查询等等会带来一系列的相关问题。本文全部以订单表和用户表为主作为描述示例。
数据库分库分表策略和分库分表后数据的查询
热门推荐
majunzhu的博客
08-30 3万+
在日常的工作中，关系型数据库本身比较容易成为系统的瓶颈点，虽然读写分离能分散数据库的读写压力，但并没有分散存储压力，当数据量达到千万甚至上亿时，单台数据库服务器的存储能力会成为系统的瓶颈，主要体现在以下几个方面： 数据量太大，读写的性能会下降，即使有索引，索引也会变得很大，性能同样会降下。 数据库文件会得很大，数据库备份和恢复需要耗时很长。 数据库文件越大，极端情况下丢失数据的风险越高。 ...
分库分表后的查询解决方案
huifeidewoniu_的博客
05-09 9018
2. 数据库中间件：使用数据库中间件来屏蔽分库分表对应用的影响，中间件会将应用发出的SQL语句转换成针对多个数据库的查询语句，并将结果集进行合并。这种方案可以实现比较灵活的查询，但需要引入额外的中间件，可能会影响性能和稳定性。在分页查询时，需要确保每个分库分表中的数据都被查询到，并且可以正确排序和分页。这方方案可以实现透明化的分库分表操作，但需要引入额外的框架和配置，可能会增加复杂度。这种方案可以实现比较灵活的分页查询，但是需要考虑分组、排序等复杂的情况，还需要处理分页边界问题。
【分库分表】分库分表常见问题和解决方案
DreamSun的博客
07-26 1468
表数据量过大sql查询太复杂sql查询没走索引数据库服务器的性能过低等。
数据库水平切分的实现原理解析－－－分库，分表，主从，集群，负载均衡器...
weixin_30367169的博客
11-02 120
第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台机器...
分库分表
CrankZ的博客
12-01 8885
名词解释 库：database；表：table；分库分表：sharding 为什么要分库分表 移动互联网时代，海量的用户每天产生海量的数量，比如： 用户表 订单表 交易流水表 以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外卖，每天都是几千万的订单。淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级...
003 分库分表_数据库分库分表设计
诸般世界
10-24 353
垂直切分与水平切分： 1.垂直切分：垂直切分的最大特点就是规则简单，实施方便，尤其适合各个业务之间的耦合度低、互相影响小、业务逻辑非常清晰的系统。在这种熊中，可以很容易做到将不同的业务模块所使用的表拆分到不同的数据库中。根据不同的表来进行拆分，对应用程序影响也更小，拆分规则会比较简单清晰。 2.水平切分：对于垂直切分相比较而言稍微复杂，因为要将同一个表中的不同数据拆分到不同的数据库中，对应用程...
深度解析：数据库分库分表设计与实践
"本文主要探讨了分库与...分库分表设计是一项复杂的任务，需要综合考虑业务需求、数据规模、系统性能等多个因素。通过合理选择分库分表策略和中间件，以及应对可能出现的问题，可以有效地提高系统的可扩展性和性能。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

骆驼整理说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值