基于Redis 的任务队列Bull -- （五）lua脚本的使用

最新推荐文章于 2025-05-21 16:15:16 发布

afan_coding

最新推荐文章于 2025-05-21 16:15:16 发布

阅读量74

点赞数

分类专栏： nodejs玩具之路文章标签： redis lua

本文链接：https://blog.youkuaiyun.com/afan_coding/article/details/136339446

版权

nodejs玩具之路专栏收录该内容

20 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

bull 使用 lua 脚本执行各种任务，ioredis的defineCommand方法将lua脚本定义成redis client的方法

Redis 保证脚本的原子执行。执行脚本时，所有服务器活动在其整个运行期间都会被阻止。

这些语义意味着脚本的所有效果要么尚未发生，要么已经发生。

可以直接通过 client 来调用脚本

client.addJob(keys);
queue.client.moveToActive(keys.concat(args)).then(raw2jobData);
job.queue.client.moveToFinished(args)
queue.client.moveToDelayed(args)

命名

所有的 lua 脚本都放置在 lib/commands 目录下

脚本文件名称格式为{name}-{key count}.lua，name是调用脚本的方法名称，key count是脚本中key的数量

注册

延迟创建 redis client 时，会调用 commands 方法在 client

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

afan_coding

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

基于Redis 的任务队列Bull -- （六）add job

afan_coding的博客

02-28

108

但是它的优先级是最高的，此时 len - (count-1) 这个计算方式应该是不准确的，它没有考虑到 RPUSH 的 job。job id key的格式是 [keyPrefix]:[queueName]:[id]，用于存储job数据的hash。然后计算 priority zset 中 0-当前job优先级的 job 数量，即优先级大于等于当前的 job 数量。优先级不为0时，要根据当前job优先级排名，将job插入目标队列（wait 或 paused）的指定位置。

基于Redis 的任务队列Bull -- （八）stalled job

afan_coding的博客

03-01

146

所以 stalled 队列中的 job id 只能说是可能 stalled ，而不是说在 stalled 队列里就代表它实际上已经停滞。bull会在每次执行 stalled check 结束时，将 active 队列中的job id分批全量刷入 stalled 队列。moveUnlockedJobsToWait会执行lua脚本，获取失败的job和停滞的job，然后发出对应的 event。bull将丢失锁的 job 称为停滞 job，认为这些 job 因为某些原因导致执行不成功，且还在active状态。

参与评论您还未登录，请先登录后发表或查看评论

基于Redis 的任务队列Bull -- （十五）failed

afan_coding的博客

03-03

然后它会检测 this.attemptsMade 和 this.opts.attempts 的大小，如果尝试次数超出，则 moveToFailed。bull 中 job 的 moveToFailed 和 moveToCompleted 虽然非常像，都调用了 moveToFinished 方法。如果 moveToFailed 为 true，则调用 moveToFailed 脚本。如果没有达到尝试次数，则计算它的退避策略，得到一个退避的 delay。delay 为 -1 代表应该 moveToFailed。

基于Redis 的任务队列Bull -- （十一）rate limit

afan_coding的博客

03-02

112

如果 job 没有被速率限制且 limited set 中 job 数量不为0，则根据 limited count 计算一个延迟时间戳。添加 job 时，如果 limiter.groupKey 存在，会生成一个包含指定值的 job id。bull在add job时，有一个 rate limit 选项，设置了队列处理job的速率限制。如果 job 已经被速率限制，则意味着它应该被再次处理，即再次执行 maxJobs 判断、如果上面两步计算后得到的 delay 大于0，代表 job 应该被速率限制。

基于Redis 的任务队列Bull -- （十四）completed

afan_coding的博客

03-03

当 maxAge 有效时，根据 score 从 zset 中取出大于 maxAge 的 job id，删除 job 数据，然后从 zset 中移除。当 count 有效时，取出 zset 中 score 较低且数量超出的 job id，删除 job 数据，然后从 zset 中移除。如果 N > 1代表大于1分钟，则对 list LPUSH 一个delta，N-1个0，否则 LPUSH 一个 delta。如果 N 大于 0，代表到了计数周期，如果 N 小于 0 就什么也不做，因为计数粒度以分钟计。

基于Redis 的任务队列Bull -- （十九）sandbox/child-pool

afan_coding的博客

03-04

bull在设置处理器时，如果处理器是字符串类型则认为它是js脚本路径这种情况下会在单独的 node 进程中运行进程函数。这类进程称为沙盒进程如果沙盒崩溃，不会影响任何其他进程，并且会自动生成一个新进程来取代它。setHandler 方法中，会使用沙盒包装指定的处理器脚本，然后用进程池来运行它。

Node.js 任务队列Bull的源码浅析

weixin_34279579的博客

02-26

1278

原文地址: www.jianshu.com/p/1ed50e6d4… Bull是基于Redis的一个Node.js任务队列管理库,支持延迟队列,优先级任务,重复任务,以及原子操作等多种功能. 本文将从基本的使用来分析Bull的源码,对于repeat job,seperate processes等暂不展开. Bull: Premium Queue package for handling jobs...

bee-queue：简单、快速、健壮的任务队列

gitblog_00010的博客

03-26

362

bee-queue：简单、快速、健壮的任务队列 bee-queue A simple, fast, robust job/task queue for Node.js, backed by Redis. 项目地址: https:/...

redis 6.X 正确使用姿势

weixin_39304711的博客

09-05

1080

标题redis 1 官网 https://redis.io/ http://www.redis.cn/ http://doc.redisfans.com/ 2 配置文件 6.0.8版本安装后需要修改配置文件 1 修改daemonize 改为 daemonize yes 2 修改protected-mode yes 改为 protected-mode no 3 注释掉 #bin 127.0.0.1 3 redis单线程&多线程问题 redis 是单线程还是多线程 - redis的版本有很多3.

【Redis】哈希表结构

qq_45795794的博客

05-20

942

redis中的hashtable（哈希表）是一种高效的键值对存储结构，主要用于实现redis的字典类型，接下来就来讲解一下hashtable（redis版本6.2.18）的底层实现。在redis的hashtable实现中，哈希冲突发生在两个或多个不同的键（key）被哈希函数映射到同一个哈希桶（bucket）的情况。1、扩容条件：当负载因子（哈希表已使用的节点数量/哈希表大小）> 1时，且服务器没有执行RDB快照或AOF重写。1、哈希函数的输出空间（哈希值范围）通常小于输入空间（可能的键数量）

Centos7安装Redis

2301_80271882的博客

05-18

302

是由于centos7的仓库原因，需要将镜像换成aliyun的。然后将Centos-Base.repo用0覆盖（这样方便后续输入）最后将Centos-Base.repo文件内容更改成以下内容：（这里需要注意，所有的#号需要顶格写，文件头也不能省略）如下图，gcc安装完毕！

阿里云ecs 8核 16G 内存装有redis6 分配了3G内存，和2个tomcat 每个tomcat 4G 服务器反应迟钝，如何确认不是redis的问题

zqy216_2008的博客

05-21

878

我们经常用redis 但遇到tomcat timeout的时候，如何确认不是redis的问题。不能因为这个再去搞个redis 压力测试。有没有更省劲的方法来确认不是redis的问题

#Redis黑马点评#（六）Redis当中的消息队列

小安同学的博客

05-18

823

ID代表从队列的什么地方开始，如果队列当中原始的消息你不想获取你就可使用$符实现对最新的消息进行读取，如果你还需要获取就是用0从队列的第一个消息获取。：结合 Redis 的持久化机制（RDB/AOF），消息可持久化。，生产者发布消息，所有订阅该频道的消费者都会收到消息。一个组内一个进度，1被a读到，那b再接着读就会读到2。功能，支持消费者组、消息确认、消息回溯等高级特性。后即从队列删除，若消费者处理失败，消息会丢失。将消息转移到“处理中队列”，处理完成后再删除。：无持久化机制，若消费者不在线，消息会丢失。

Redis 事务与管道：原理、区别与应用实践

vvilkin的学习备忘

05-18

794

在现代分布式系统开发中，Redis 作为高性能的内存数据库，其事务处理和管道技术是开发者必须掌握的核心知识点。本文将深入探讨 Redis 事务和管道的实现原理、使用场景、性能差异以及最佳实践，帮助开发者根据实际需求选择合适的技术方案。

【Redis】AOF日志的三种写回机制

qq_45795794的博客

05-21

430

redis的AOF（Append Only File）持久化提供了三种不同的写回策略，通过appendfsync配置项来控制，这三种策略在数据安全性和性能之间提供了不同的权衡选择。3、主线程不阻塞，后台线程每秒检查一次缓冲区，缓冲区有数据就执行fsync()同步到磁盘。1、每次写入命令后立即执行fsync，将数据同步到磁盘。2、确保每个写命令都持久化到磁盘后才返回成功响应。3、立即调用fsync()将缓冲区内容写入磁盘。2、命令追加到AOF缓冲区。2、命令追加到AOF缓冲区。2、命令追加到AOF缓冲区。

Java Spring Boot 应用集成 Spring Security 使用 Redis 存储用户信息

C_V_Better的博客

05-19

1612

本文介绍了如何在 Spring Boot 应用中集成 Spring Security 并使用 Redis 存储用户信息，以实现高效的用户认证和授权。首先，通过添加 spring-boot-starter-security 和 spring-boot-starter-data-redis 等依赖，配置项目的基本环境。接着，在 application.properties 中设置 Redis 的连接信息。然后，通过 SecurityConfig 类配置 Spring Security，定义访问权限和登录逻辑。

Python连接redis

Katherine1029的博客

05-16

393

value 的值在ex=5,5S之前是就是9999,5S之后None。在CMD中pip install redis 安装redis。安装时勾上所有能勾上的选项下一步即可。在redis安装目录下找到。第一步安装redis。

Redisson分布式集合原理及应用

北冥的博客

05-20

734

接口继承：RMap实现了和接口，这意味着它可以像普通的Java Map一样使用，并且支持并发操作。功能特性支持异步、非阻塞的操作方法，例如putAsyncgetAsync等。提供了原子性操作，如replaceremove等。支持键值对的过期时间设置，可以为每个键单独设定有效时间和最长闲置时间。支持本地缓存，可以在客户端缓存一些数据以减少网络请求次数。具有写入策略选项，比如WRITE_BEHIND，适合在高负载情况下优化写入性能。

数据库——redis