- 避免过载,是负载均衡策略的一个重要目标。但是无论你的负载均衡策略效率有多高,随着压力不断上升,系统的某个部位总会过载。运维一个可靠系统的一个根本要求,就是能够优雅地处理过载情况。
- 简单地使用CPU数量作为资源配给的主要信号就可以工作得很好,原因如下:
(a)在有垃圾回收(GC)机制的编程环境里,内存的压力通常自然而然地变成CPU的压力(在内存受限的情况下,GC会增加)。
(b)在其他编程环境里,其他资源一般可以通过某种比例进行配置,以便使这些资源的短缺情况非常罕见。
- 应对过载:
(a)给每个用户设置限制
(b)客户端侧的节流机制
自适应节流的技术来实现客户端节流。具体地说,每个客户端记录过去两分钟内的以下信息:
- 请求数量(requests):应用层代码发出的所有请求的数量总计(指运行于自适应节流系统之上的应用代码)。
- 请求接受数量(accepts):后端任务接受的请求数量。
在常规情况下,这两个值是相等的。随着后端任务开始拒绝请求,请求接受数量开始比请求数量小了。客户端可以继续发送请求直到requests=K *accepts,一旦超过这个限制,客户端开始自行节流,新的请求会在本地直接以一定概率被拒绝(在客户端内部),概率使用公式进行计算:
公式:客户端请求拒绝概率
当客户端开始自己拒绝请求时,requests会持续上升,而继续超过accepts。这里虽然看起来有点反直觉,因为本地拒绝的请求实际没有到达后端,但这恰恰是这个算法的重点。随着客户端发送请求的速度加快(相对后端接受请求的速度来说),我们希望提高本地丢弃请求的概率。
对那些处理请求消耗的资源和拒绝请求的资源相差无几的系统来说,允许用50%的资源来发送拒绝请求可能是不合理的。在这种情况下,解决方案很简单:通过修改客户端中算法的accepts的倍值K(例如,2)就可解决:
- 降低该倍值会使自适应节流算法更加激进。
- 增加该倍值会使该算法变得不再那么激进。
举例来说,假设将客户端请求的上限从request=2 * accepts调整为request=1.1* accepts,那么就意味着每10个后端请求之中只有1个会被拒绝。一般来说推荐采用K=2,通过允许后端接收到比期望值更多的请求,浪费了一定数量的后端资源,但是却加快了后端状态到客户端的传递速度。举例来说,后端停止拒绝该客户端的请求之后,所有客户端检测到这个变化的耗时就会减小。
- 重要性:全局配额和限制机制中比较有用的信息
(a)最重要 CRITICAL_PLUS
(b)重要 CRITICAL
(c)可丢弃的SHEDDABLE_PLUS
(d)可丢弃的SHEDDABLE
将重要性属性当成RPC系统的一级属性,以便系统在处理过载情况下可以使用该信息。例如:
- 当某个客户全局配额不够时,后端任务将会按请求优先级顺序分级拒绝请求(实际上,全局配额系统是可以按重要性分别设置的)。
- 当某个任务开始进入过载状态时,低优先级的请求会先被拒绝。
- 自适应节流系统也会根据每个优先级分别计数。
- 处理过载请求
(a)数据中心中的大量后端任务都处于过载状态
(b)数据中心中的一小部分后端任务处于过载状态
如果后端请求将重试和新请求同等对待,快速拒绝仍然是最好的选择。这些请求可以立刻在另外一个可能有空余资源的任务上重试。同等对待重试请求和新请求事实上形成了一种天然的负载均衡机制:可以将多余的负载自动转移给其他的任务。
- 针对大量后端任务过载的情况有几个方法来避免进行重试。
(a)增加了每次请求重试次数限制,限制重试3次。某个请求如果已经失败3次,我们会将该错误回应给调用者。这里的逻辑是指,如果一个请求已经三次选择了过载的任务,再重试也很可能无济于事,这时整个数据中心可能都处于过载状态。
(b)实现了一个每客户端的重试限制。每个客户端都跟踪重试与请求的比例。一个请求在这个比例低于10%的时候才会重试。这里的逻辑是,如果仅仅只有一小部分任务处于过载状态,那么重试数量应该是相对较小的。
如果多层都要进行重试,会造成批量重试爆炸情况。
- 有时候我们仅仅考虑后端处理接收的请求所造成的负载(这也是用QPS来建模负载的一个问题),然而却忽略了其他因素,比如维护一个大型连接池的CPU和内存成本,或者是连接快速变动的成本。这样的问题在小型系统中可以忽略不计,但是在大型RPC系统中很快就会造成问题。
- 超大规模的批处理任务会在短时间内建立大量的客户端。协商和维护这些超大数量的连接可以造成整个后端的过载。以下策略可以帮助消除这些问题:
(a)将负载传递给跨数据中心负载均衡算法(如,使用资源利用率进行负载均衡,而不仅仅是请求数量)。在这种情况下,过载请求会被转移到其他数据中心。
(b)强制要求批处理任务使用某些特定的批处理代理后端任务,这些代理仅仅转发请求,同时将回复转发给客户端。于是,请求路线从“批处理客户端→后端”变为“批处理客户端→批处理代理→后端”。在这种情况下,当大型的批处理任务执行时,只有批处理代理任务会受到影响,而保护了真正的后端任务(也随之保护了其他的高优先级客户端)。
- 有很多工具可以用来实现良好的负载均衡和过载保护机制,但是这里没有万能药:要进行负载均衡经常需要深入了解一个系统和它的请求处理语义。

5万+



被折叠的 条评论
为什么被折叠?



