分布式之分库分表

最新推荐文章于 2024-01-18 18:01:48 发布
最新推荐文章于 2024-01-18 18:01:48 发布
阅读量242 收藏
点赞数
分类专栏： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xing__meng/article/details/103745492
版权
本文详细介绍了分库分表的两种主要策略：垂直切分和水平切分。垂直切分包括垂直分库和垂直分表，分别按照功能、访问量或关系划分库和表；水平切分则是将庞大表的数据按规则分散到多个相同结构的表中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

分表分库的两种方法

  1. 垂直切分
    – 垂直分库：把库中的表按照功能或者按照访问量或者按照关系划分出来，分别存放在不同的库中
    – 垂直分表：把某个表的部分字段划分出来，比如一个表中有些字段是经常需要访问，有些字段是很少访问的，可以把经常访问的和不经常访问的分别存放在不同的表中
  2. 水平切分
    – 某个表中数据过于庞大，可以把这些数据按照某种规则划分出来，存放在不同的库但是结构相同的表中
  3. 分库分表策略在这里插入图片描述
【分布式事务与分库分表】
我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。
04-07 455
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、优快云博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
阿里云DRDS分布式数据库 - 分库分表
Java Punk
12-20 7706
由于 DRDS 是一个分布式关系数据库服务，处理的是分布式关系运算。分布式无疑会带来额外的跨库网络开销，而大家都知道，网络通信的延迟比单机内通信的延迟大得多。
分布式数据库分表
qq_39842253的博客
04-28 477
mysql分区 —> 求余算法 根据数据表字段讲过对应算法的处理之后取模。最终决定数据所存储的“数据表” 1.key算法：按照内置的key算法运算数字 key算法创建分区 语法： create table xxx( 字段 类型 ...... ) partition by key(字段/表达式)partitions 分区去数目; MySQL 内置的分区功能，对于数据表永远对外只有一张数据表，但是本质对数据文件进行了拆分 备注：写入数据存储到哪一个分区是由MySQL决定 2.hash算法：按照
分布式：分库分表
starbxx的博客
08-05 741
移动互联网时代，海量的用户每天产生海量的数量，比如： 用户表 订单表 交易流水表 以支付宝用户为例，8亿；微信用户更是10亿。订单表更夸张，比如美团外卖，每天都是几千万的订单。淘宝的历史订单总量应该百亿，甚至千亿级别，这些海量数据远不是一张表能Hold住的。事实上MySQL单表可以存储10亿级数据，只是这时候性能比较差，业界公认MySQL单表容量在1KW以下是最佳状态，因为这时它的...
分布式系统-分库分表
热门推荐
七叔的博客
01-14 1万+
搞明白分库分表的具体具体概念和逻辑
分布式-分库分表
白天不懂夜的黑的博客
04-28 595
一.分表 分表:就是把一个表的数据放到多个表中，然后查询的时候你就查一个表。比如按照用户 id 来分表，将一个用户的数据就放在一个表中。然后操作的时候你对一个用户就操作那个表就好了。这样可以控制每个表的数据量在可控的范围内，比如每个表就固定在 200 万以内。 二.分库 分库是啥意思？就是你一个库一般我们经验而言，最多支撑到并发 2000，一定要扩容了，而且一个健康的单库并发值你最好保持在每秒 1...
【分布式架构之旅-理论篇】数据库分库分表
cmazxiaoma的博客
12-26 285
前言 储备知识ing，很久之前写的。 MySQL集群MySQL官方提供的是mysql-proxy方案，主要解决了高并发的问题，但是没有解决高可用的问题。一般项目都是读多写少。读的操作让mysql-slave去处理，写的操作让mysql-master去处理，这减少对主库的访问压力。高可用问题体现在mysql-proxy宕了和单点故障(如果我mysql-master出现了故障，那一切不就GG了)方面
分布式套路之分库分表漫谈
Java_zhujia的博客
11-29 546
既然是“漫谈分库分表”，那么我们需要确定我们要谈什么，不谈什么。首先，我们不讨论具体的分库分表框架的实现和源码，这不是我们讨论的范围。我们讨论的是思路，主要讨论如何分库分表的套路，有什么坑，有什么心得，不针对具体的细节进行展开式讨论。当然我自己的能力有限，只是希望能够抛砖引玉。我们要明确，分库分表，并不是一个银弹，它只是我们针对MySQL单机性能不够的情况下，想要节约成本的一种方式。对于boss来说，既想要想要节约成本，又想要支撑业务，提供稳定持久度性能。
Shark分布式mysql分库分表中间件sharding领域的一站式解决方案
08-08
Shark 分布式mysql分库分表中间件，sharding领域的一站式解决方案。具备丰富、灵活的路由算法支持，能够方便DBA实现库的水平扩容和降低数据迁移成本。shark采用应用集成架构，放弃通用性，只为换取更好的执行性能与...
原生分布式数据库与分库分表中间件、云原生数据库有何区别
weixin_49263976的博客
01-19 2009
如今，我们正处于数据库从互联网基础软件转变为社会数字化基础软件的时代，在传统集中式数据库已不能满足大规模数据承载需求与高并发处理需求的形势下，基于海量数据场景应用而生的分布式数据库迎来应用热潮。据IDC调研，目前约26.8%的企业级市场用户部署了分布式数据库，超过90%的企业认可分布式数据库部署后的效果， 在分布式数据库中，主要有三类解决方案，一类是以中间件+单机数据库为主的分布式数据库，下层的单机数据库提供存储和执行能力，在多个单机数据库上封装一层中间层，以统一分片规则管理及处理分布在不同数据库节点的数据
分布式技术之分库分表
MineCodelife的博客
02-19 572
数据切分 简单的说，就是通过某种条件，将我们之前存储在一台数据库上的数据，分散到多台数 据库中，从而达到降低单台数据库负载的效果。数据切分，根据其切分的规则，大致分为两种类 型，垂直切分和水平切分。 垂直切分 就是按照不同的表或者Schema切分到不同的数据库中。 优点： 拆分后业务清晰，拆分规则明确； 系统之间容易扩展和整合； 数据维护简单 缺点： 部分业务表无法join，只能通过接口调用，提升了系统的复杂度； 跨库事务难以处理； 垂直切分后，某些业务数据过于庞大，仍然存在单体性能瓶颈
数据库分布式架构扫盲——分库分表（及银行核心系统适用性思考）
omnispace的博客
05-20 4523
应光平兄的呼声，我就勉为其难的来个扫盲文。为什么说是勉为其难？首要原因是我没有数据库分布式的实务经验，其次是在我们银行新一代核心系统建设这个背景下谈分布式数据库真的是意义不大，目前知道的解决方案在我们这类OLTP的账务交易系统中均显得不太成熟，所以实在是觉得现阶段还不值得谈太多。纠结再三，想想借这个分享的机会整理这方面的知识结构也未尝不可。我们谈数据库分布式，其核心内容无非就是数据切分（Shard...
spark的行动算子aggregate函数
weixin_43862280的博客
10-27 284
object Demo { def main(args: Array[String]): Unit = { val conf = new ConfigProperties(“xxx”) // 测试 val sparkConf = new SparkConf().setAppName(“app.name”).setMaster(“local”) // 测试 val sc = new SparkContext(sparkConf) val rdd = sc.parallelize(List(1,2,3,4,5,
分布式分库分表
最新发布
lastingboy的博客
01-18 1684
Sharding-JDBC可以进行分库分表，同时又可以解决分库分表带来的问题，它的核心功能是：数据分片和读写分离。
分布式数据库之分库分表总结
forever1689的专栏
03-03 2102
常见的分布式数据库分库分表有以下几种情况：1、单库单表 ：单库单表是最常见的数据库设计，例如，有一张用户(user)表放在数据库db中，所有的用户都可以在db库中的user表中查到。2、单库多表 ：随着用户数量的增加，user表的数据量会越来越大，当数据量达到一定程度的时候对user表的查询会渐渐的变慢，从而影响整个DB的性能。如果使用mysql, 还有一个更严重的问题是，当需要添加一列的时候，m...
分库分表及分布式搭建
qq_37001674的博客
05-25 319
sharding-jdbc jar包、mycat分库分表 如何不停机分库分表 双写迁移方案，修改写库的代码，同时写老库和分库分表的库，如果分库分表不存在直接写入，如果存在比较时间戳，躲开几台机器循环check数据是不是相当，到凌晨几乎没有数据进来，此时老库和新库数据一样了，切换到分库分表的新库 分库分表的id问题 雪花算法 采用64位：首位位0，时间戳用41位保存，机房id5位，机器id...
分库分表、分布式数据库、MPP
weixin_37862824的博客
11-24 1619
分库分表、分布式数据库、MPP的区别吗？
关于分布式数据库的分库分表
glgl2424的专栏
04-24 1174
http://blog.youkuaiyun.com/column/details/sharding.html
分开分表 分布式事物
每天积累一点，一年后你会发现，自己变化很大
11-21 520
http://www.cnblogs.com/aoshicangqiong/p/7732922.html
MySQL分布式数据库实践：分库分表策略
本次分享主要介绍了基于MySQL的分布式数据库实践，包括分库分表的策略、缓存应用、NoSQL的使用以及多IDC部署等方面。 在业务快速增长的背景下，传统的单一数据库往往无法满足性能需求。分库分表，即Database ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值