亿级数据的分库分表

一、分库分表的基本概念

当表的数量或大小超过一定限度,对业务效率产生了一定的影响,可以考虑分库分表。阿里的推荐是,当数据库超过500万行或者单张表大小超过2G,建议分库分表。

二、好处

  • 减少数据库的压力;
  • 提高查询的效率;

三、分库分表的两种方式

    1、 垂直方式:将一个多字段的表,拆分成多个有关联的表;

    2、 水平方式:将表按行数进行拆分。

四、问题解决层次

五、其他

    1、 避免跨库的关联查询的方式:库表字段冗余、数据同步、RPC(不推荐)

    2、 全局ID生成的方式:数据库(for update)、UUID、Redis、ZK、雪花算法、Leaf

 

MySQL数据库的分库分表策略通常不是根据固定的数据量来决定的,而是基于以下几个考虑: 1. 数据库性能:当单个数据库的性能开始下降,例如查询速度变慢,更新操作耗时增加,或者系统资源如CPU、内存、磁盘I/O达到瓶颈时,就需要考虑分库分表2. 数据量:当单数据量非常庞大时,无论是存储还是查询效率都会受到影响。通常来说,当单数据量超过千万亿时,就应该考虑拆。 3. 业务需求:根据业务特性,可能需要对数据进行水平拆)或垂直拆库)。例如,为了提高特定查询的效率,可以按照业务类型、时间、地域等因素将数据散存储。 4. 扩展性:随着业务的不断扩展,需要考虑数据库的扩展性。分库分表可以更容易地增加新的服务器来提升整体性能。 分库分表通常可以采用以下策略: - 垂直库:将不同的业务数据散到不同的数据库服务器上。 - 垂直:将一个中的不同列(字段)散到不同的中,通常是将热点数据(经常访问的字段)和冷数据(很少访问的字段)离。 - 水平库):根据一定的规则(如取模、范围片等),将数据散存储在多个(或数据库)中。 在实施分库分表之前,需要仔细规划和设计,以确保业务的连续性和数据的一致性。此外,分库分表可能会增加系统的复杂性,因此需要权衡利弊。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值