11.算法进阶之分布式篇——一致性哈希算法——流量分配与负载均衡

本文探讨了分布式系统中的负载均衡问题,分析了有状态服务的复杂性,并介绍了哈希算法在流量分配中的应用。针对节点数量变化带来的挑战,文章详细阐述了一致性哈希算法的工作原理,通过创建哈希环实现负载均衡,减少数据迁移,并防止缓存雪崩。此外,还提出了通过增加桶副本以改善负载均衡的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

负载均衡问题

在分布式环境中,我们倾向于比较均衡的利用每台机器,不至于单点过载,也能发挥集群的最大价值。
比较常见的方法是轮询与随机分配,一般按照实例多少加以权值,所以一般采用的是加权轮询以及加权随机。

但是大多数策略问题在于:无法应对带有多种状态的请求或者服务

例子——为什么有状态服务负载均衡比较复杂

有状态的请求:
我们再分布式KV缓存系统中,往往会把数据水平切分到不同节点来存储,为了保证系统可用性,冗余是必要的,对于这样的系统,某个key值应该在某一个确定的节点上获取,而不是随便访问一个节点都能得到全局的key 这样的服务我们认为是有状态的。

再比如,dag中某一个节点的操作,需要受到之前请求节点的影响,这样的请求也是有状态的。

我们登录qq时,服务会取服务器拉取消息,以便进行消息的推送。这种请求是有状态的。
由于需要推送的消息很多,服务器以流形式推送,所以需要时刻记录推送消息的位置。

  • 当连接失败,客户端重连时,一定要保证客户端重连到之前连接的服务器,因为只有这台服务器记录了该客户端之前消息的位置,以便从该位置继续推送

如果负载均衡采用的是随机或者轮询策略,客户端下次请求的时候,大概率就不会再打到上一次请求的节点了,所以,面对许多有状态的服务和请求,这是有很大问题的。那我们如何解决这种情况下的负载均衡呢?

<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值