23、分布式限流服务设计详解

分布式限流服务设计详解

1. 主机计数同步

在分布式系统中，主机之间同步用户请求计数是实现限流服务的关键环节。我们可以选择不同的同步算法，除了全连接（All-to-all）算法外，其他算法都适用于我们的限流服务。

1.1 同步机制选择

同步机制可以分为拉取（Pull）和推送（Push）两种。为了实现更高的性能、更低的资源消耗和更低的复杂度，我们选择推送机制。在这种机制下，如果某个主机出现故障，我们可以忽略其计数，允许用户在被限流之前进行更多请求。基于这些考虑，主机应该使用 UDP 异步共享时间戳，而不是 TCP。

主机需要处理两种主要类型的请求流量：
1. 限流决策请求 ：这类请求由负载均衡器进行限制，并在必要时通过配置更大的主机集群来处理。
2. 更新主机内存中时间戳的请求 ：我们的同步机制必须确保主机不会收到高频率的请求，特别是在集群中主机数量增加时。

1.2 同步算法

以下是几种常见的同步算法：
- 全连接（All-to-all） ：每个节点向组内的其他所有节点发送消息，需要全网状拓扑结构。这种算法的扩展性较差，随着节点数量的增加，通信所需的资源呈二次方增长。例如，使用 128 个主机进行全连接通信，每次通信将需要超过 1 TB 的数据，这是不可行的。

graph LR
    A --> B
    A --> C
    A --> D
    B -->