基于Redis 的任务队列Bull -- (六)add job

Queue.add

bull的 Queue.add / Queue.addBulk 方法用于向队列添加job

添加job并不意味着要立即运行,而只是将相关数据插入redis中

Queue.prototype.add = function(name, data, opts) {
  if (typeof name !== 'string') {
    opts = data;
    data = name;
    name = Job.DEFAULT_JOB_NAME;
  }
  opts = _.cloneDeep({ ...this.defaultJobOptions, ...opts });

  opts.jobId = jobIdForGroup(this.limiter, opts, data);

  if (opts.repeat) {
    return this.isReady().then(() => {
      return this.nextRepeatableJob(name, data, opts, true);
    });
  } else {
    return Job.create(this, name, data, opts);
  }
};

Queue.prototype.addBulk = function(jobs) {
  const decoratedJobs = jobs.map(job => {
    const jobId = jobIdForGroup(this.limiter, job.opts, job.data);
    retur
从等待条到回调通知:异步任务与事件驱动架构实践 在软件工程中,异步编程和事件驱动架构是提升系统响应性和用户体验的核心技术。其原理在于将耗时操作从主线程中解耦,通过任务队列、消息中间件等机制实现非阻塞处理,从而避免界面卡顿和资源浪费。这种模式的技术价值在于提高系统吞吐量、增强可扩展性,并优化用户交互流程。典型的应用场景包括文件上传处理、数据报表生成、实时消息推送等需要后台执行的任务。本文聚焦于如何利用回调、WebSocket等技术,构建一个从“进度查询”升级到“结果订阅”的健壮通知系统,其中任务队列和事件驱动是实现可靠异步通信的关键组件,确保用户能在任务完 阅读详情

相关推荐

onlyoffice源码开发:(六)基于Docker与Node.js的文档转换服务优化实践

本文详细介绍了基于Docker与Node.js的ONLYOFFICE文档转换服务优化实践,涵盖架构设计、Docker部署、Node.js接口优化及生产环境调优。通过异步处理、缓存机制和负载监控等策略,显著提升转换效率与稳定性,适用于企业级文档处理需求。

weixin_42520796的博客 381

基于Redis 的任务队列Bull -- (一)简介

bull自称是最快、最可靠、基于 Redis 的 Node.js 队列。为了坚如磐石的稳定性和原子性而精心编写。所以我们来看一看怎么搞的。

afan_coding的博客 666

基于Redis 的任务队列Bull -- (十一)rate limit

如果 job 没有被速率限制且 limited set 中 job 数量不为0,则根据 limited count 计算一个延迟时间戳。添加 job 时,如果 limiter.groupKey 存在,会生成一个包含指定值的 job id。bull在add job时,有一个 rate limit 选项,设置了队列处理job的速率限制。如果 job 已经被速率限制,则意味着它应该被再次处理,即再次执行 maxJobs 判断、如果上面两步计算后得到的 delay 大于0,代表 job 应该被速率限制。

afan_coding的博客 231

node.js使用bull操作任务队列

https://github.com/OptimalBits/bull 1.简介 bull是最快,最可靠的基于Redis的Node队列。 1.1 特性 bull提供了以下特性: 由于采用无轮询设计,因此CPU使用率最低。 基于Redis的稳健设计。 延迟的工作。 根据cron规范安排和重复作业。 作业的速率限制器。 重试。 优先。 并发。 暂停/恢复-全局或本地。 每个队列有多种作业类型。 线程化(沙盒)处理...

蛐蛐的博客 4107

基于Redis 的任务队列Bull -- (十三)repeat job

当 add repeat job 时,会调用一次 nextRepeatableJob ,它会创建当前这次要运行的 Job。当 repeat job 结束时,会再次调用 nextRepeatableJob ,它会创建下次要运行的 Job。总的来说,bull repeat job 的执行是链式的,下一次job开始于上一次job的结束。bull在add job时可以设置任务的repeat选项,用于定时重复执行 job。从这里算起,repeat job 和普通的 job 就完全一样了,会执行相同的流程。

afan_coding的博客 226

基于Redis 的任务队列Bull -- (九)delayed job

当 add job时,如果delayedTimestamp 不为 0,则将 job id 加入 delayed zset。它将时间戳数字二进制左移十二位,然后低十二位填充job id的值,最后得到一个不会重复的 timestamp。delayed zset 的成员是 job id,score 是一个计算后得到的 timestamp。然后和 add job 一样,根据 job 的优先级将 job 放入合适的队列与位置。注意,updateDelaySet参数是当前时间戳,即执行当前到期的所有延迟队列。

afan_coding的博客 160

基于Redis 的任务队列Bull -- (十八)timeout/cancel

bull 的 job timeout 属性是通过将 job 的 handler 转换成 cancelablePromise 实现的。然后看第二个问题,我们给 job 加上超时 timeout,注意要把 attempts 设为 0,这样就不会重试。而 es6 原生的 Promise 是不可从外部取消的,所以这里的 promise.cancel 只有象征意义。具体的说,用一个 Promise 包装 handler,然后设置一个 timeout 定时器。job 的超时设置是如何工作的。这个可以通过源码来解释。

afan_coding的博客 206

基于Redis 的任务队列Bull -- (三)多个客户端

bull在创建队列时会创建三个redis客户端,分别用于不同的任务。

afan_coding的博客 164

基于Redis 的任务队列Bull -- (十六)backoff

bull 在add job 时,有一个 backoff 选项,用于指定当 job 失败时的退避策略。注意,内建策略函数是高级函数,根据 backoff.delay 返回一个闭包函数。计算退避delay值时,首先要查找退避策略函数,然后调用函数返回 delay。具体的说,当 job 失败时会根据策略函数,得到一个 delay 值。它是一个对象,key 代表自定义策略类型,value 代表策略函数。查找策略函数,首先从自定义策略中查找,然后从内建策略中查找。fixed 代表固定延迟退避,每次的延迟值都一样。

afan_coding的博客 196

基于Redis 的任务队列Bull -- (十七)priority / lifo

然后是同时使用 priority 和 lifo 的情况,从1到10,每到5添加一个 lifo 为 true 的 job。当优先级为0时,lifo 为 false 意味着使用 LPUSH,lifo 为 true 意味着使用 RPUSH。这存在一个显而易见的问题,就是 lifo 为 true 的 job 不会放在 priority zset 里。输出如下,可以看到 lifo 为 true 的不是最优先执行的,而且优先级顺序也被打乱。所以 lifo 为 true 的 job 会打乱优先级的排序。

afan_coding的博客 174

queue-redis-cluster:使用redis集群的示例bull和bullmq

使用Bull和BullMQ的Redis集群 安装套件 npm i bull bullmq ioredis && npm audit fix 命令 npm run bull or npm run bullmq 自定义队列 请点击此链接以为bull或bullmq自定义 公牛 const Queue = require ( 'bull' ) const Redis = require ( 'ioredis' ) const clusterQueue = new Queue ( 'Superhero' , { prefix : '{clusterQueue}' , createClient : ( ) => new Redis . Cluster ( [ { host : '127.0.0.1' , port : 6379 } , { host : '127.0.0.1'

jobs-queue-redis:如何使用Bull Queue lib和Redis在后台管理作业队列的示例

本示例模拟了一个场景,在该场景中雇用了一名员工,系统将电子邮件发送给他和IT经理,从而正式录用了该员工。 使用带有和队列来应用异步任务处理,以监视任务的处理。 一个队列用于发送电子邮件,另一个队列用于持久存储文件。 它还将Web API与。 依赖项(包)

Redis 源码分析 2. 分析起步

Redis 的源码分析第二部分 By SinSay

GD32F407工程模板搭建全记录:从零整理固件库、创建文件夹到编译通过

本文详细记录了GD32F407工程模板的搭建过程,从固件库整理、目录规划到Keil环境配置,帮助开发者快速搭建可维护的嵌入式工程结构。重点介绍了开发环境搭建、工程目录设计、Keil配置及常见编译问题解决方案,适合嵌入式开发者参考。

weixin_29164497的博客 123

WRF进阶:定制Vtable文件解析非标准气象数据源——以ERA5-Land土壤湿度为例

本文详细介绍了如何为WRF模式定制Vtable文件,以解析非标准气象数据源ERA5-Land的土壤湿度数据。通过剖析GRIB文件结构、详解Vtable编写逻辑与语法,并提供了从数据验证到metgrid配置的完整实战流程,帮助用户突破标准数据源限制,实现高精度陆面过程模拟。

o4p5q6r7s的博客 393

【CarMaker实战指南】从零构建环形测试场景与车辆连续仿真

本文详细介绍了如何使用CarMaker软件从零构建环形测试场景与实现车辆连续仿真。通过分步指导搭建闭环道路、连接交叉路口、规划车辆轨迹等核心操作,帮助用户掌握CarMaker的基础应用技巧,并提供了常见问题排查与进阶优化建议,适用于车辆耐久性测试和自动驾驶算法验证等场景。

weixin_29274969的博客 236

如何运用好DeepSeek为自己服务:智能增强的范式革命 || 目录

1.1 认知增强的三次浪潮1.2 DeepSeek认知增强模型1.3 人机认知耦合协议1.4 认知增强的数学基础。

𝓓𝓸𝓶𝓲𝓷𝓪𝓽𝓲𝓷𝓰 𝓐𝓵𝓵 𝓣𝓱𝓲𝓷𝓰𝓼 1226

高通Camera AWB跳变问题实战:从夕阳场景到参数调优的完整避坑指南

本文深入解析高通Camera AWB跳变问题,特别是在夕阳场景下的色温突变现象。通过分析灰区统计失效、光源混合干扰等成因,提供从参数调优到诊断工具链的完整解决方案,包括动态灰区扩展算法、色温平滑过渡方案及高通平台特定优化技巧,帮助工程师有效解决AWB跳变问题。

sre5engineer的博客 860

深入解析进化算法中的选择与多样性

在计算科学的世界里,最优雅的解决方案往往源于最古老的智慧——大自然。进化算法(Evolutionary Algorithms, EAs)正是这样一种受达尔文自然选择学说启发的强大工具。它们通过模拟“适者生存”的过程,在庞大的可能性海洋中搜寻最优解。。:指的是深入挖掘和优化已知的优质解。这就像在一片已知的沃土上精耕细作,力求获得最高产量。强大的选择压力会促进这一过程。:指的是在整个搜索空间中寻找全新的、可能更优的解。这好比派遣探险队去发现新大陆,充满了未知与机遇。保持种群的多样性是探索的关键。

weixin_62533513的博客 718

YOLOv11改进 | 注意力篇 | YOLOv11引入CA注意力机制

摘要:最近关于移动网络设计的研究已经证明了通道注意力(例如,挤压和激励注意力)对于提升模型性能的显着有效性,但它们通常忽略了位置信息,而位置信息对于生成空间选择性注意力图很重要。到此本文的正式分享内容就结束了,在这里给大家推荐我的YOLOv11改进有效涨点专栏,本专栏目前为新开的,后期我会根据各种前沿顶会进行论文复现,也会对一些老的改进机制进行补充,如果大家觉得本文帮助到你了,订阅本专栏,关注后续更多的更新~3.2 在Extramodule里创建CA。在CA.py文件里添加给出的CA代码。

tsg6698的博客 2981

LabVIEW实现HTTP通信

本节简要介绍HTTP通信的基础知识,并以工业物联网平台TLINK中云端设备的数据发布设计为例,阐述互联网环境下HTTP客户端应用程序设计的基本方法。重点讲解工业物联网平台TLINK中HTTP设备的创建、通信数据帧的构造与测试。

不脱发的程序猿 1550

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

上一篇: 基于Redis 的任务队列Bull -- (五)lua脚本的使用
下一篇: 基于Redis 的任务队列Bull -- (七)process job
afan_coding
博客等级 码龄4年 7粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

afan_coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值