基于Redis 的任务队列Bull -- （十）lock机制

最新推荐文章于 2025-05-21 14:58:22 发布

afan_coding

最新推荐文章于 2025-05-21 14:58:22 发布

阅读量132

点赞数

分类专栏： nodejs玩具之路文章标签： redis

本文链接：https://blog.youkuaiyun.com/afan_coding/article/details/136412559

版权

nodejs玩具之路专栏收录该内容

20 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Bull任务队列借助Redis实现任务锁，key格式为[keyPrefix]:[queueName]:[id]:lock。当job进入运行状态，通过moveToActive加锁，用queue的唯一token作为value。完成时通过moveToFinished释放锁。Bull还定时调用extendLock续租锁，takeLock和releaseLock允许手动控制锁。stalled check仅在lock丢失时将任务标记为停滞。尽管正常运行lock不应丢失，但意外情况可能导致lock丢失和数据问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

bull使用一个格式为[keyPrefix]:[queueName]:[id]:lock的key来锁定 job 的运行时状态

有两个setting和它有关

/** 锁持续时间，默认30s */
lockDuration?: number | undefined;

/** 锁定时刷新周期，默认15s */
lockRenewTime?: number | undefined;

加锁的位置是job进入运行状态时的 moveToActive 脚本，锁的value是queue的唯一token

 -- get a lock
  local jobKey = ARGV[1] .. jobId
  local lockKey = jobKey .. ':lock'
  rcall("SET", lockKey, ARGV[2], "PX", ARGV[3]) -- set job lock , value is queue token

释放锁的位置是 job 完成退出运行时状态的 moveToFinished 脚本

if rcall("EXISTS", KEYS[3]) == 1 then -- // Make sure job exists
    if ARGV[5] ~= "

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

afan_coding

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

基于Redis 的任务队列Bull -- （一）简介

afan_coding的博客

02-26

470

bull自称是最快、最可靠、基于 Redis 的 Node.js 队列。为了坚如磐石的稳定性和原子性而精心编写。所以我们来看一看怎么搞的。

基于Redis 的任务队列Bull -- （二）redis里的数据存储

afan_coding的博客

02-26

156

bull将所有运行时数据存储到redis的数据解构中，使用redis事务和脚本来操作数据，保证操作的原子性。

参与评论您还未登录，请先登录后发表或查看评论

Java并发编程：Lock解析

luotuomianyang的博客

07-23

351

从Java 5之后，在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问，那就是Lock。　　也许有朋友会问，既然都可以通过synchronized来实现同步访问了，那么为什么还需要提供Lock？这个问题将在下面进行阐述。本文先从synchronized的缺陷讲起，然后再讲述java.util.concurrent.locks包下常用的有哪些类和接口，最后

SpringBoot 集成分布式任务调度 XXL-JOB【保姆级上手】

03-31

1504

XXL-JOB 作为一款轻量级的分布式任务调度平台，凭借其高效、易用、可扩展的特性，已经在众多知名企业中获得了广泛的应用和认可。

redis集群时，出现的几个异常问题

热门推荐

猎人在吃肉

04-22

2万+

当前 redis的部署情况是： 192.168.3.15:6379 192.168.3.15:6380 192.168.3.15:6381 1、in `call': ERR Slot 8579 is already busy (Redis::CommandError) 在/my_soft/redis/redis-3.0.4/src 目录下执行redis 集群安装命令：...

开启Healthcheck检查redis连接失败导致注册Eureka状态是DOWN

liubingyu12345的博客

12-29

1万+

项目中某个微服务开启了spring健康检查：eureka: client: healthcheck: enabled: true serviceUrl: defaultZone: http://localhost:8800/eureka/ #注册中心地址 instance: hostname: localhost instance-i

基于Redis 的任务队列Bull -- （八）stalled job

afan_coding的博客

03-01

146

所以 stalled 队列中的 job id 只能说是可能 stalled ，而不是说在 stalled 队列里就代表它实际上已经停滞。bull会在每次执行 stalled check 结束时，将 active 队列中的job id分批全量刷入 stalled 队列。moveUnlockedJobsToWait会执行lua脚本，获取失败的job和停滞的job，然后发出对应的 event。bull将丢失锁的 job 称为停滞 job，认为这些 job 因为某些原因导致执行不成功，且还在active状态。

基于Redis 的任务队列Bull -- （十五）failed

afan_coding的博客

03-03

然后它会检测 this.attemptsMade 和 this.opts.attempts 的大小，如果尝试次数超出，则 moveToFailed。bull 中 job 的 moveToFailed 和 moveToCompleted 虽然非常像，都调用了 moveToFinished 方法。如果 moveToFailed 为 true，则调用 moveToFailed 脚本。如果没有达到尝试次数，则计算它的退避策略，得到一个退避的 delay。delay 为 -1 代表应该 moveToFailed。

基于Redis 的任务队列Bull -- （十四）completed

afan_coding的博客

03-03

当 maxAge 有效时，根据 score 从 zset 中取出大于 maxAge 的 job id，删除 job 数据，然后从 zset 中移除。当 count 有效时，取出 zset 中 score 较低且数量超出的 job id，删除 job 数据，然后从 zset 中移除。如果 N > 1代表大于1分钟，则对 list LPUSH 一个delta，N-1个0，否则 LPUSH 一个 delta。如果 N 大于 0，代表到了计数周期，如果 N 小于 0 就什么也不做，因为计数粒度以分钟计。

【Redis】哈希表结构

qq_45795794的博客

05-20

942

redis中的hashtable（哈希表）是一种高效的键值对存储结构，主要用于实现redis的字典类型，接下来就来讲解一下hashtable（redis版本6.2.18）的底层实现。在redis的hashtable实现中，哈希冲突发生在两个或多个不同的键（key）被哈希函数映射到同一个哈希桶（bucket）的情况。1、扩容条件：当负载因子（哈希表已使用的节点数量/哈希表大小）> 1时，且服务器没有执行RDB快照或AOF重写。1、哈希函数的输出空间（哈希值范围）通常小于输入空间（可能的键数量）

Centos7安装Redis

2301_80271882的博客

05-18

302

是由于centos7的仓库原因，需要将镜像换成aliyun的。然后将Centos-Base.repo用0覆盖（这样方便后续输入）最后将Centos-Base.repo文件内容更改成以下内容：（这里需要注意，所有的#号需要顶格写，文件头也不能省略）如下图，gcc安装完毕！

阿里云ecs 8核 16G 内存装有redis6 分配了3G内存，和2个tomcat 每个tomcat 4G 服务器反应迟钝，如何确认不是redis的问题

zqy216_2008的博客

05-21

876

我们经常用redis 但遇到tomcat timeout的时候，如何确认不是redis的问题。不能因为这个再去搞个redis 压力测试。有没有更省劲的方法来确认不是redis的问题

#Redis黑马点评#（六）Redis当中的消息队列

小安同学的博客

05-18

823

ID代表从队列的什么地方开始，如果队列当中原始的消息你不想获取你就可使用$符实现对最新的消息进行读取，如果你还需要获取就是用0从队列的第一个消息获取。：结合 Redis 的持久化机制（RDB/AOF），消息可持久化。，生产者发布消息，所有订阅该频道的消费者都会收到消息。一个组内一个进度，1被a读到，那b再接着读就会读到2。功能，支持消费者组、消息确认、消息回溯等高级特性。后即从队列删除，若消费者处理失败，消息会丢失。将消息转移到“处理中队列”，处理完成后再删除。：无持久化机制，若消费者不在线，消息会丢失。

Redis 事务与管道：原理、区别与应用实践

vvilkin的学习备忘

05-18

794

在现代分布式系统开发中，Redis 作为高性能的内存数据库，其事务处理和管道技术是开发者必须掌握的核心知识点。本文将深入探讨 Redis 事务和管道的实现原理、使用场景、性能差异以及最佳实践，帮助开发者根据实际需求选择合适的技术方案。

【Redis】AOF日志的三种写回机制

最新发布

qq_45795794的博客

05-21

429

redis的AOF（Append Only File）持久化提供了三种不同的写回策略，通过appendfsync配置项来控制，这三种策略在数据安全性和性能之间提供了不同的权衡选择。3、主线程不阻塞，后台线程每秒检查一次缓冲区，缓冲区有数据就执行fsync()同步到磁盘。1、每次写入命令后立即执行fsync，将数据同步到磁盘。2、确保每个写命令都持久化到磁盘后才返回成功响应。3、立即调用fsync()将缓冲区内容写入磁盘。2、命令追加到AOF缓冲区。2、命令追加到AOF缓冲区。2、命令追加到AOF缓冲区。

Java Spring Boot 应用集成 Spring Security 使用 Redis 存储用户信息

C_V_Better的博客

05-19

1611

本文介绍了如何在 Spring Boot 应用中集成 Spring Security 并使用 Redis 存储用户信息，以实现高效的用户认证和授权。首先，通过添加 spring-boot-starter-security 和 spring-boot-starter-data-redis 等依赖，配置项目的基本环境。接着，在 application.properties 中设置 Redis 的连接信息。然后，通过 SecurityConfig 类配置 Spring Security，定义访问权限和登录逻辑。

Python连接redis

Katherine1029的博客

05-16

393

value 的值在ex=5,5S之前是就是9999,5S之后None。在CMD中pip install redis 安装redis。安装时勾上所有能勾上的选项下一步即可。在redis安装目录下找到。第一步安装redis。

redis定时调用接口

03-13

### 使用 Redis 实现定时任务调度以定期调用 API 接口为了通过 Redis 来实现定时任务调度并定期调用 API 接口，可以采用多种方式组合来达成目标。一种常见的方式是利用消息队列模式配合延迟队列或者基于时间戳的有序集合(set)，再结合后台服务轮询处理到期的任务。 #### 方法一：使用 Redis 的 Sorted Set 和 Cron Job 结合 1. 将待执行的任务按照计划执行的时间作为 score 插入到 Redis 的 sorted set 中[^2]。 ```java long timestamp = System.currentTimeMillis() + delayMillis; redisTemplate.opsForZSet().add("task:schedule", taskId, timestamp); ``` 2. 创建一个独立运行的服务进程（Worker），该 Worker 定期扫描这个 sorted set，取出当前时间之前的所有任务条目进行处理，并移除已经完成的任务项[^4]。 3. 对于每一个匹配条件的任务 ID，在 worker 端发起 HTTP 请求去调用相应的 API 接口。这种方法简单易行，但需要注意的是，worker 需要持续在线监听和处理过期任务，而且可能存在一定的精度损失取决于 worker 执行频率。 #### 方法二：借助第三方库或框架集成 Redis 支持如果希望更高效地管理复杂的调度逻辑，则可以选择一些成熟的开源工具如 RQ-Scheduler 或者 Bull Queue (Node.js), 这些工具本身支持与 Redis 协同工作来进行异步作业管理和周期性任务安排[^1]。这些解决方案通常提供了更加丰富的特性集，比如重试机制、失败通知等功能，同时也简化了开发人员对于底层细节的操作需求。 ```python from rq import Queue from rq_scheduler import Scheduler from redis import Redis import requests scheduler = Scheduler(connection=Redis()) def call_api(): response = requests.get('https://api.example.com/data') # Process the data... # Schedule a job to run every day at midnight UTC. job = scheduler.cron( '0 0 * * *', func=call_api, timeout='5m' ) ``` 上述 Python 示例展示了如何设置每天午夜UTC时分自动触发一次 `call_api` 函数调用外部API接口的过程。 #### 方法三：Lua 脚本控制锁机制下的并发安全操作当涉及到多个消费者竞争相同资源的情况下，可以通过 Lua Scripting 提供原子性的命令序列来确保只有一个客户端能够成功获取锁从而执行特定动作，这有助于防止竞态条件的发生[^3]。 ```lua -- Example of acquiring and releasing a distributed lock using Lua scripting in Redis local key = KEYS[1] local value = ARGV[1] if redis.call("SETNX", key, value) == 1 then -- Lock acquired successfully elseif redis.call("GET", key) == value then -- Reacquire existing lock held by this client else return nil -- Failed to acquire or reacquire lock end return true ``` 此脚本可用于构建分布式环境中的锁定协议，保证同一时刻仅有一个实例能获得许可去访问共享资源或是启动新的批处理过程。