<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[afan_coding的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/afan_coding</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; afan_coding]]></copyright><item><title><![CDATA[基于Redis 的任务队列Bull -- （十九）sandbox/child-pool]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136455698</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136455698</guid><author>afan_coding</author><pubDate>Mon, 04 Mar 2024 16:28:14 +0800</pubDate><description><![CDATA[bull在设置处理器时，如果处理器是字符串类型则认为它是js脚本路径这种情况下会在单独的 node 进程中运行进程函数。这类进程称为沙盒进程如果沙盒崩溃，不会影响任何其他进程，并且会自动生成一个新进程来取代它。setHandler 方法中，会使用沙盒包装指定的处理器脚本，然后用进程池来运行它。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十八）timeout/cancel]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136439230</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136439230</guid><author>afan_coding</author><pubDate>Sun, 03 Mar 2024 21:52:27 +0800</pubDate><description><![CDATA[bull 的 job timeout 属性是通过将 job 的 handler 转换成 cancelablePromise 实现的。然后看第二个问题，我们给 job 加上超时 timeout，注意要把 attempts 设为 0，这样就不会重试。而 es6 原生的 Promise 是不可从外部取消的，所以这里的 promise.cancel 只有象征意义。具体的说，用一个 Promise 包装 handler，然后设置一个 timeout 定时器。job 的超时设置是如何工作的。这个可以通过源码来解释。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十七）priority / lifo]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136438688</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136438688</guid><author>afan_coding</author><pubDate>Sun, 03 Mar 2024 21:29:09 +0800</pubDate><description><![CDATA[然后是同时使用 priority 和 lifo 的情况，从1到10，每到5添加一个 lifo 为 true 的 job。当优先级为0时，lifo 为 false 意味着使用 LPUSH，lifo 为 true 意味着使用 RPUSH。这存在一个显而易见的问题，就是 lifo 为 true 的 job 不会放在 priority zset 里。输出如下，可以看到 lifo 为 true 的不是最优先执行的，而且优先级顺序也被打乱。所以 lifo 为 true 的 job 会打乱优先级的排序。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十六）backoff]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136436781</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136436781</guid><author>afan_coding</author><pubDate>Sun, 03 Mar 2024 19:45:09 +0800</pubDate><description><![CDATA[bull 在add job 时，有一个 backoff 选项，用于指定当 job 失败时的退避策略。注意，内建策略函数是高级函数，根据 backoff.delay 返回一个闭包函数。计算退避delay值时，首先要查找退避策略函数，然后调用函数返回 delay。具体的说，当 job 失败时会根据策略函数，得到一个 delay 值。它是一个对象，key 代表自定义策略类型，value 代表策略函数。查找策略函数，首先从自定义策略中查找，然后从内建策略中查找。fixed 代表固定延迟退避，每次的延迟值都一样。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十五）failed]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136436302</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136436302</guid><author>afan_coding</author><pubDate>Sun, 03 Mar 2024 19:16:58 +0800</pubDate><description><![CDATA[然后它会检测 this.attemptsMade 和 this.opts.attempts 的大小，如果尝试次数超出，则 moveToFailed。bull 中 job 的 moveToFailed 和 moveToCompleted 虽然非常像，都调用了 moveToFinished 方法。如果 moveToFailed 为 true，则调用 moveToFailed 脚本。如果没有达到尝试次数，则计算它的退避策略，得到一个退避的 delay。delay 为 -1 代表应该 moveToFailed。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十四）completed]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136435981</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136435981</guid><author>afan_coding</author><pubDate>Sun, 03 Mar 2024 18:50:38 +0800</pubDate><description><![CDATA[当 maxAge 有效时，根据 score 从 zset 中取出大于 maxAge 的 job id，删除 job 数据，然后从 zset 中移除。当 count 有效时，取出 zset 中 score 较低且数量超出的 job id，删除 job 数据，然后从 zset 中移除。如果 N > 1代表大于1分钟，则对 list LPUSH 一个delta，N-1个0，否则 LPUSH 一个 delta。如果 N 大于 0，代表到了计数周期，如果 N 小于 0 就什么也不做，因为计数粒度以分钟计。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十三）repeat job]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136424479</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136424479</guid><author>afan_coding</author><pubDate>Sat, 02 Mar 2024 23:12:58 +0800</pubDate><description><![CDATA[当 add repeat job 时，会调用一次 nextRepeatableJob ，它会创建当前这次要运行的 Job。当 repeat job 结束时，会再次调用 nextRepeatableJob ，它会创建下次要运行的 Job。总的来说，bull repeat job 的执行是链式的，下一次job开始于上一次job的结束。bull在add job时可以设置任务的repeat选项，用于定时重复执行 job。从这里算起，repeat job 和普通的 job 就完全一样了，会执行相同的流程。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十二）pause/resume]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136423489</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136423489</guid><author>afan_coding</author><pubDate>Sat, 02 Mar 2024 22:02:49 +0800</pubDate><description><![CDATA[对于 global 的pause，则在执行操作时会检测 meta-paused key，以决定 target 队列是 wait 还是 paused。如果是local的pause，只是设置一个 this.paused 的 Promise，然后调用 resumeLocal 恢复。这样的操作在很多脚本中都出现，global pause 只是将 wait 队列变成了 paused 队列，恢复时改回来。pause 和 resume 的操作应该是一一对应的，local 对 local，global 对 global。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十一）rate limit]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136418925</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136418925</guid><author>afan_coding</author><pubDate>Sat, 02 Mar 2024 17:16:05 +0800</pubDate><description><![CDATA[如果 job 没有被速率限制且 limited set 中 job 数量不为0，则根据 limited count 计算一个延迟时间戳。添加 job 时，如果 limiter.groupKey 存在，会生成一个包含指定值的 job id。bull在add job时，有一个 rate limit 选项，设置了队列处理job的速率限制。如果 job 已经被速率限制，则意味着它应该被再次处理，即再次执行 maxJobs 判断、如果上面两步计算后得到的 delay 大于0，代表 job 应该被速率限制。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （十）lock机制]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136412559</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136412559</guid><author>afan_coding</author><pubDate>Sat, 02 Mar 2024 11:37:32 +0800</pubDate><description><![CDATA[bull使用一个格式为[keyPrefix]:[queueName]:[id]:lock的key来锁定 job 的运行时状态。加锁的位置是job进入运行状态时的 moveToActive 脚本，锁的value是queue的唯一token。对于 queue 的 stalled check 任务，只有lock丢失的运行时任务会被认为是停滞的。extendLock script的内容很简单，就是重新设置锁的 key 以及过期时间。释放锁的位置是 job 完成退出运行时状态的 moveToFinished 脚本。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （九）delayed job]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136407879</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136407879</guid><author>afan_coding</author><pubDate>Fri, 01 Mar 2024 23:18:59 +0800</pubDate><description><![CDATA[当 add job时，如果delayedTimestamp 不为 0，则将 job id 加入 delayed zset。它将时间戳数字二进制左移十二位，然后低十二位填充job id的值，最后得到一个不会重复的 timestamp。delayed zset 的成员是 job id，score 是一个计算后得到的 timestamp。然后和 add job 一样，根据 job 的优先级将 job 放入合适的队列与位置。注意，updateDelaySet参数是当前时间戳，即执行当前到期的所有延迟队列。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （八）stalled job]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136406207</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136406207</guid><author>afan_coding</author><pubDate>Fri, 01 Mar 2024 21:24:11 +0800</pubDate><description><![CDATA[所以 stalled 队列中的 job id 只能说是可能 stalled ，而不是说在 stalled 队列里就代表它实际上已经停滞。bull会在每次执行 stalled check 结束时，将 active 队列中的job id分批全量刷入 stalled 队列。moveUnlockedJobsToWait会执行lua脚本，获取失败的job和停滞的job，然后发出对应的 event。bull将丢失锁的 job 称为停滞 job，认为这些 job 因为某些原因导致执行不成功，且还在active状态。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （七）process job]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136377048</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136377048</guid><author>afan_coding</author><pubDate>Thu, 29 Feb 2024 17:40:03 +0800</pubDate><description><![CDATA[bull 通过 process 方法定义 job 的处理器，并且开始执行 jobname / concurrency 是可选参数，handler 是必选参数默认的 name 是 Job.DEFAULT_JOB_NAME，concurrency 是 1虽然 process 方法返回 Promise，但是一般不会等待它。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （六）add job]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136350767</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136350767</guid><author>afan_coding</author><pubDate>Wed, 28 Feb 2024 17:04:05 +0800</pubDate><description><![CDATA[但是它的优先级是最高的，此时 len - (count-1) 这个计算方式应该是不准确的，它没有考虑到 RPUSH 的 job。job id key的格式是 [keyPrefix]:[queueName]:[id]，用于存储job数据的hash。然后计算 priority zset 中 0-当前job优先级的 job 数量，即优先级大于等于当前的 job 数量。优先级不为0时，要根据当前job优先级排名，将job插入目标队列（wait 或 paused）的指定位置。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （五）lua脚本的使用]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136339446</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136339446</guid><author>afan_coding</author><pubDate>Wed, 28 Feb 2024 10:37:23 +0800</pubDate><description><![CDATA[bull 使用 lua 脚本执行各种任务，ioredis的defineCommand方法将lua脚本定义成redis client的方法Redis 保证脚本的原子执行。执行脚本时，所有服务器活动在其整个运行期间都会被阻止。这些语义意味着脚本的所有效果要么尚未发生，要么已经发生。可以直接通过 client 来调用脚本。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （四）global/local事件机制]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136327605</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136327605</guid><author>afan_coding</author><pubDate>Tue, 27 Feb 2024 17:18:48 +0800</pubDate><description><![CDATA[bull通过eclient订阅队列的channel事件消息，然后在当前队列上发出本地或者全局的对应事件local事件格式为 completed / failed ，代表事件所属job属于本地的queueglobal事件格式为 global:completed / global:failed , 代表全局事件，无论 job 是否在本地queue运行。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （三）多个客户端]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136309791</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136309791</guid><author>afan_coding</author><pubDate>Mon, 26 Feb 2024 22:01:48 +0800</pubDate><description><![CDATA[bull在创建队列时会创建三个redis客户端，分别用于不同的任务。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （二）redis里的数据存储]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136308008</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136308008</guid><author>afan_coding</author><pubDate>Mon, 26 Feb 2024 20:36:12 +0800</pubDate><description><![CDATA[bull将所有运行时数据存储到redis的数据解构中，使用redis事务和脚本来操作数据，保证操作的原子性。]]></description><category></category></item><item><title><![CDATA[基于Redis 的任务队列Bull -- （一）简介]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/136300194</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/136300194</guid><author>afan_coding</author><pubDate>Mon, 26 Feb 2024 15:46:05 +0800</pubDate><description><![CDATA[bull自称是最快、最可靠、基于 Redis 的 Node.js 队列。为了坚如磐石的稳定性和原子性而精心编写。所以我们来看一看怎么搞的。]]></description><category></category></item><item><title><![CDATA[mxnet1.9.1+cuda11.8+rtx4090+vs2022+win11源码编译安装]]></title><link>https://blog.youkuaiyun.com/afan_coding/article/details/131586447</link><guid>https://blog.youkuaiyun.com/afan_coding/article/details/131586447</guid><author>afan_coding</author><pubDate>Thu, 06 Jul 2023 22:24:40 +0800</pubDate><description><![CDATA[最近在学习 mxnet，虽然它过气了，但是还是一个很好的学习平台，毕竟教程搞得好，大家都来搞。既然搞了深度学习那必须用gpu啦，但是mxnet的预编译包最多只支持 cuda11.7，而且好像还不支持windows平台看这张图片，前面说了支持 Linux 和 Windows 平台，后面又说 Windows 是其他平台，需要从源码构建还可以查找下这个链接：https://dist.mxnet.io/python，反正我是没找到1.9.1且适配cuda117的windows的.whl文件。]]></description><category></category></item></channel></rss>