Java实现QPS、吞吐率限制

Java限流策略：QPS与吞吐率限制实现

最新推荐文章于 2025-06-13 17:42:19 发布

原创

最新推荐文章于 2025-06-13 17:42:19 发布 · 5.4k 阅读

14 ·

CC 4.0 BY-SA版权

本文介绍了在Java中如何实现QPS和吞吐率限制，以应对第三方API接口的调用限制。通过使用Semaphore实现吞吐率限制，控制1秒内最多处理的任务数量，并确保请求在达到时间间隔后执行。对于QPS限制，思路与吞吐率类似，但不考虑执行中的任务数量。

滚动阅读全文

业务场景

在一个项目中需要频繁调用一个第三API接口来实现业务功能，但是这个第三方接口有QPS和吞吐率的限制，如果超过限制将请求失败；故我们需要在我们的业务功能中加上吞吐率（吞吐率 < QPS）的限制, 当达到限制时让当前的请求等待到下一个可执行时间段执行。

吞吐率实现

吞吐率的限制是当前时段内（1S内）最多能处理的任务数量，超过限制必须等待；这个有点类似生产者-消费者模式，请求是生产者，数量没有限制；限制的吞吐量为消费者数量。
使用Java 并发工具Semaphore 来实现对吞吐量的限制，当请求到达时，若吞吐量未达到限制，判断当前时间与最早请求处理时间是否达到时间间隔，如果达到着执行；未达到则休眠剩余时间后再执行；若吞吐量已达到限制，则等待获得信号量后执行；

使用数组存储每个请求开始处理的时间，数组大小等于吞吐量限制大小；

package com.anyunbao.common.utils.qps;

import java.util.Arrays;
import java.util.concurrent.Semaphore;
import java.util.concurrent.TimeUnit;

/**
 * @author Think
 * @className ThroughputLimiter
 * @description QPS 限制工具
 * @date 2019/4/13
 **/
public class ThroughputLimiter {
   
   
	/**
	 * 接受请求时间窗口
	 */
	private long[] accessTime;
	/**
	 * 限制数量
	 */