基于Redis 的任务队列Bull -- （十一）rate limit

最新推荐文章于 2025-06-02 09:06:41 发布

afan_coding

最新推荐文章于 2025-06-02 09:06:41 发布

阅读量172

点赞数

CC 4.0 BY-SA版权

分类专栏： nodejs玩具之路文章标签： redis lua 数据库

本文链接：https://blog.youkuaiyun.com/afan_coding/article/details/136418925

nodejs玩具之路专栏收录该内容

20 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Bull任务队列在添加job时的速率限制功能，详细解析了rate limit选项的工作原理。通过设置max和duration参数，限制队列处理job的速度。当job准备进入运行时，`moveToActive`脚本中的`rateLimit`函数负责检查速率限制。通过对job id和groupKey的处理，实现对job的分组和限制。如果job达到速率限制，将根据设定的策略决定是延迟处理还是直接丢弃。Bull的速率限制是全局性的，采用固定时间窗口，而不是滑动时间窗口，而bounceBack参数的使用需要谨慎，其为true时会丢弃达到速率限制的job。

bull在add job时，有一个 rate limit 选项，设置了队列处理job的速率限制

interface QueueOptions {
    limiter?: RateLimiter | undefined;
}

interface RateLimiter {
    /** 最大处理作业数 */
    max: number;
    /** 每个周期持续时间（以毫秒为单位） */
    duration: number;
    /** 当作业受到速率限制时，它们会保留在等待队列中，不会移至延迟队列 */
    bounceBack?: boolean | undefined;
    /** 使用job data中的指定键对任务进行分组，比如network.handle */
    groupKey?: string | undefined;
}

创建队列时会检查速率限制器的选项值，max和duration必须同时存在

if (opts.limiter) {
    if (opts.limiter.max && opts.limiter.duration) {
      this.limiter = opts.limiter;
    } else {
      throw new TypeError('Limiter requires `max` and `duration` options');
    }
}

添加 job 时，如果 l