数据库如何处理大数据量的水平分库分表

首先根据这个问题,我们需要先解决分库分表的规则

规则如下

  • 按频繁查询的字段取模分表
  • 按某个连续范围的字段范围分表

对于按某个频繁查询字段取模分表的原因是我们需要尽可能的避免跨表查询

举例如下: 存在订单表,以订单ID为主键,用户ID等

若采用用户ID进行分表,当需要通过订单ID查询订单详细数据时,则无法判断该数据存在哪个表里,故应当优先选择频繁查询字段

对于按某个范围分表,我们可以采用连续的ID作为分表依据,像

表名范围
table_11-100000
table_2100000-200000

完成对表的规则拆分后,我们就可以进行表迁移

表迁移存在两种方法:

  • 停服迁移
  • 双写

停服迁移可以完整的保证数据的一致性,但同时无法让用户使用服务,且需要完善的异常处理方式,如回滚之类的

双写:该模式下,写入数据是同时写入新旧表,并记录下最开始双写入的数据时间,读取数据还是读取老表,同时开启定时任务,检测新旧表双写后的数据是否一致,一段时间后,将老表双写开始之前的数据写入新表,需要注意新表的压力

如有错误,请斧正~

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

凡尘扰凡心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值