数据库平滑扩容

转载自:https://www.cnblogs.com/kafeixiaoluo/p/9156855.html
    https://www.cnblogs.com/firstdream/p/7090524.html

  每一个项目都是由小项目发展而来,从最初的一台数据库,到后面的几千上万台数据库,这发展的过程,都要涉及到一个技术问题:当数据量太大的时候,如何进行扩容?
  现有一个站点,用户数据库有2个,网站用户数据通过ID取模,分别存在两台用户数据库中,随着数据增大,两台数据库已经不够用了,现在需要增加数据库进行扩容,应该如何进行扩容?

停机扩容

  先来了解下停机扩容方案,这是一种很多人初期都会使用的方案(几台数据库的时候),具体步骤:

  1. 小明先挂公告,告诉大家明天的凌晨02:00 - 06:00,站点将停机升级;
  2. 时间到了,小明停止了所有对外服务;
  3. 小明新增了2个数据库,然后写了一个程序,将原先的2个库的数据迁移到现有的4个库(2+2)上;
  4. 数据迁移完成,修改数据库服务配置;
  5. 重启服务,并重新开启对外服务。

回滚方案:数据迁移失败,或者迁移后测试失败,则将服务配置修改回原先的两个库,改天再升级。

优点:简单
缺点:

  1. 不高可用
  2. 开启升级到升级完成,时间短,项目组压力大,易出错
  3. 升级时间基本是半夜人流量最少的时候,项目组疲累,容易出错
  4. 运行一段时间后,发现问题,难以回滚,只能回到扩容前,会丢失部分数据

适用:

  1. 小型网站;
  2. 大部分游戏;
  3. 对高可用要求不高的服务。

平滑扩容

  平滑扩容中最好的方案就是扩容的数据库是原先数据库的倍数,如:2个数据库扩容到4个数据库,是原先的2倍。步骤:
(1)新增2个数据库
(2)配置双主进行数据同步(先测试,后线上,重启服务时间是秒级)

(3)数据同步完成之后,配置主主双写(因为同步有延迟,如果每时每刻都有数据写入/更新的话,就不能准确的保证数据已经同步完成)

(4)数据同步完成后(时间比较长),删除双主同步,修改数据库配置,并重启(秒级);

(5)此时已经扩容完成,但此时的数据并没有减少,新增的数据库跟旧的数据库一样多的数据,此时还需要写一个程序,清空数据库中多余的数据,如:

  1. User1去除 uid % 4 = 2的数据;
  2. User3去除 uid % 4 = 0的数据;
  3. User2去除 uid % 4 = 3的数据;
  4. User4去除 uid % 4 = 1的数据。

现在,我们就已经完成了数据库的平滑扩容了。

优点:

  1. 扩容期间,服务照常进行,保证高可用;
  2. 时间长,项目组压力没有这么大,出错率低;
  3. 扩容期间,遇到什么问题,都可以随时调试,不怕影响线上服务;
  4. 每个数据库少了一半的数据量。

缺点:

  1. 程序复杂,需要配置双主、主主双写、检测数据同步等额外技术;
  2. 但后期数据库成千上万台的时候,扩容复杂(情况非常少,除非将很多业务数据放在同一个数据库)。

总结

  停机扩容:简单,不高可用,易出错,扩容后不能回滚,只能回档,会丢失一部分数据。
  平滑扩容:复杂,高可用,出错调试容易,易回滚,不会造成数据丢失,

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值