Erlang：RabbitMQ源码分析 5. worker pool 实现分析

最新推荐文章于 2024-08-27 09:52:38 发布
最新推荐文章于 2024-08-27 09:52:38 发布
阅读量1.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： RabbitMQ Erlang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liaosongbo/article/details/39317829
本文深入分析了Erlang中RabbitMQ的worker_pool组件，包括其由worker_pool和worker_pool_worker构成的结构，同步提交任务submit的功能，以及异步提交任务submit_async的工作流程。worker_pool利用gen_server2行为、hibernate和backoff策略，确保在无任务请求时进入休眠状态，有效管理scheduler线程。同时，详细阐述了submit和submit_async两种提交任务方式的内部处理机制，如何处理任务队列和worker状态的管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

worker_pool 由一个worker_pool 和N个worker_pool_worker组成, N = number of scheduler threads

外部程序有两种方式来call worker_pool ,  submit(func) and submit_async(func)

submit(func) 是同步的提交Task，worker_pool 用worker_pool_worker做完返回

submit_async(func)是异步的提交Task，worker_pool 找个worker_pool_worker异步去做，如果没有worker_pool_worker就把Task加到Queue里


worker_pool是一个gen_server2的behavior，而且使用了hibernate和backoff，保证在没有Task request时候进入hibernate状态。


submit

submit是同步提交Task的方法，

              1. 如果State里有available的worker_pool_worker，

                        1.1 monitor call submit的pid， 如果这个pid 意外退出，worker_pool_worker会收到request，在worker_pool_worker的handle_info里处理，避免有pid 意外退出，却没有释放worker_pool_worker

                         1.2 就把call

最低0.47元/天 解锁文章

200万优质内容无限畅学
Erlang：RabbitMQ源码分析 1. 启动过程
liaosongbo的专栏
08-24 5674
RabbitMQ源码分析 1. 启动过程
erlang rabbitmq源码解析_RabbitMQ
weixin_42394913的博客
12-23 596
1.rabbit_alarm启动步骤(先执行rabbit_alarm:start()函数)(1).启动一个rabbit_alarm_sup的supervisor2监督进程同时在该监督进程下启动一个rabbit_alarm的gen_event进程rabbit_alarm进程作为整个RabbitMQ系统的报警进程，例如内存，磁盘大小的报警，报警后，如果有人向rabbit_alarm进程注册，则会进程回...
rabbitmq之work_pool
weixin_30519071的博客
04-23 239
　 worker_pool_worker的作用是用来完成数据操作。 如何获取worker是从worker_pool里获取，并由worker_pool管理。 起动时间： -rabbit_boot_step({worker_pool, [{description, "worker pool"}, {mfa, {rabbit_sup, start_supervisor_child,...
rabbitmq项目的worker_pool_sup学习
chenyu469的专栏
05-21 449
今天遇到建立数量不确定的worker的sup的问题，这个问题是通过rabbit_sup无法解决的，这些模块都不是基础性的，但是需要由childid的名字，不能是唯一的。 查询了worker_pool_sup文件，虽然这个文件已经看过很多次了，但是很多答案都在里面只是看的时候无法领悟。 在函数init中，创建了2种process，一种是worker_pool, 另一种是worker_pool
worker_pool
02-15
工人池 用户定义的工作程序的池模块。 例子 以下模块是一个示例工作程序模块，该模块在调用后将:ok和每个元素的双精度列表发送到主机进程。 defmodule SampleWorker do use WorkerPool . Worker @impl true def work ({pid, list}), do: send (pid, { :ok , Enum . map (list, & &1 * 2 )}) end WorkerPool . start_link ( SampleWorker ) WorkerPool . get_worker ( SampleWorker ) |> send ({ :work , { self (), [ 1 , 2 , 3 ]}}) receive do { :ok , result} -> IO . inspect result
Erlang实现的RabbitMQ工作池库ebunny_pool介绍
7. 实现ebunny_pool_worker行为模块：文档指出需要创建一个模块来实现ebunny_pool_worker行为，这涉及到定义init/1, handle/3, 和terminate/2等回调函数。这些回调函数是处理进程启动、消息处理和进程终止时的行为。...
ebunny_pool:一个rabbitmq工作池
06-23
创建一个实现ebunny_pool_worker行为的模块： - module ( sample_worker ). - behavior ( ebunny_pool_worker ). - export ([ init / 1 , handle / 3 , terminate / 2 ]). - include_lib ( " amqp_client/include/...
Celery消息代理选择与配置：RabbitMQ与Redis的对决
[Celery消息代理选择与配置：RabbitMQ与Redis的对决](https://media.geeksforgeeks.org/wp-content/uploads/20240405152927/Message-Brokers-in-System-Design.webp) # 1. Celery消息代理概述 在现代软件开发中，...
（8）docker安装rabbitmq
zhi_ai_yaya的专栏
05-24 946
docker安装rabbitmq 一般选择带有“mangement”的版本（包含web管理页面） 使用的是 3.8-rc-management版本 拉取镜像： docker pull rabbitmq:3.8-rc-management 数据目录：/usr/local/rabbitmq/data:/var/lib/rabbitmq 端口映射： -p 5672:5672 -p 15672:1567...
四、rabbitMQ Work Queues
江城宴的博客
07-14 651
在前面的已经提到了一对一的情况;现在一个生产者与多个消费者的情况（Work Queues）。 Work Queues的示意图如下： RabbitMQ服务器会将队列中的消息分给消费者。其分发方式是：c1一个、c2一个、然后再c1一个、c2一个、……，在rabbitMQ上分配好后，会将分配的消息包一起返回给消费者，消费者对消息包中的每一条消息都返回却信息ack，这要就会带来一些问...
golang worker pool ,工作池，线程池
01-20
gowp golang worker pool ,线程池 , 工作池 并发限制goroutine池。 限制任务执行的并发性，而不是排队的任务数。 无论排队多少任务，都不会阻止提交任务。 通过队列支持 golang 工作池公共库 支持最大任务数, 放到工作池里面 并等待全部完成 package main import ( fmt time github.com/xxjwxc/gowp/workpool ) func main() { wp := workpool.New(10) //设置最大线程数 for i := 0; i < 20; i++ {
workerpool-一个线程池，用于在一组固定的有状态工作线程上运行多个作业-Rust开发
05-27
workerpool一个工作线程池，用于并行执行有状态工作线程上的许多作业。 它产生指定数量的工作线程和workerpool一个工作线程池，用于并行执行有状态工作线程上的许多作业。 它产生指定数量的工作线程，并在任何工作线程出现紧急情况时补充池。 单个Worker在其自己的线程中运行，并根据特征来实现：pub trait Worker：默认{类型输入：发送； 输入Output：Send; fn execute（＆mut self，Self :: Input）-> Self :: Output;复制代码 }使用方法[dependencies] workerpool =“ 1.2”改用横梁的通道
第9篇 rabbitmq WorkPool源码解析
往前的娘娘
06-08 425
消费者消费消息它有一个工作池的概念，所以现在研究一下WorkPool的源码，看一看可以学到什么技巧。 这个实现是一个线程安全的类 WorkPool<K,W> K ： 客户端类型， W : 工作项目类型 1、成员变量 MAX_QUEUE_LENGTH = 1000 队列最大为1000 ready = new SetQueue() 准备好客户端 inProgress = new HashSet() 正在处理客户端 Map<K, VariableLinke.
RabbitMQ客户端源码分析(五)之ConsumerWorkSerivce与WorkPool
jannal专栏
10-20 1051
文章目录RabbitMQ-java-client版本WorkPoolVariableLinkedBlockingQueueSetQueueConsumerWorkServiceConsumerDispatcher RabbitMQ-java-client版本 com.rabbitmq:amqp-client:4.3.0 RabbitMQ版本声明: 3.6.15 WorkPool Work...
Workerpool: 高效、可扩展的并发任务处理库
gitblog_00088的博客
03-15 634
Workerpool: 高效、可扩展的并发任务处理库 Workerpool 是一个 Go 语言编写的高性能、可扩展的任务调度与并发执行库。它允许您将复杂的任务分解为一系列子任务，并在多个工作线程中并行运行它们。这可以帮助优化应用程序性能并充分利用多核处理器的优势。 工作原理 Workerpool 基于生产者-消费者模型构建。它使用一个主 goroutine（"调度器"）来接收来...
开源项目 worker_pool 使用教程
gitblog_00171的博客
08-27 308
开源项目 worker_pool 使用教程 项目介绍 worker_pool 是一个开源项目，旨在提供一个高效、灵活的工作池管理机制。该项目主要用于管理和调度多个工作线程，适用于需要并发处理任务的场景。通过 worker_pool，开发者可以轻松地创建和管理工作线程池，从而提高任务处理的效率和性能。 项目快速启动 安装 首先，克隆项目仓库到本地： git clone https://github....
Erlang pool management -- RabbitMQ worker_pool 2
weixin_30348519的博客
02-12 144
上一篇已经分析了rpool 的三个module , 以及简单的物理关系. 这次主要分析用户进程和 worker_pool 进程还有worker_pool_worker 进程之间的调用关系. 在开始之前, 必须先明确一点, 就是一个worker_pool_worker 进程只有在处理完一个用户进程的任务之后才能开始处理另一用户进程的任务. worker_pool 状态管理 在上一篇已经说明, w...
工作队列代码分析
小菜鸟上校的专栏
07-25 2428
1.   首先应该了解一下表示工作队列的结构体workqueue_struct，      该结构体定义在文件kernel/workqueue.c中。定义如下：       struct workqueue_struct { ... /* hot fields used during command issue, aligned to cacheli
面试|ThreadPoolExecutor有哪几种状态以及如何表示？
星空下的程序猿
08-04 2531
上一篇分析线程池的创建过程，那么本篇就要学习下线程池如何处理任务。本篇涉及到大量的源码分析，所以可能会有些枯燥，但我会尽量化繁为简，希望能够通俗易懂。 在学习线程池如何处理提交的任务之前，有必要了解下线程池的运行状态。我们应该知道一个线程的状态分为创建(NEW)、运行(RUNNABLE)、阻塞(BLOCK)、等待(WAITING/TIMED-WAITING)和结束(TERMINATED)，线程是线...
un 11 04:12:05 rabbitmq2 systemd[1]: Failed to start RabbitMQ broker. Jun 11 04:12:05 rabbitmq2 systemd[1]: Unit rabbitmq-server.service entered failed state. Jun 11 04:12:05 rabbitmq2 systemd[1]: rabbitmq-server.service failed. Jun 11 04:12:15 rabbitmq2 systemd[1]: rabbitmq-server.service holdoff time over, scheduling restart. Jun 11 04:12:15 rabbitmq2 systemd[1]: Stopped RabbitMQ broker. Jun 11 04:12:15 rabbitmq2 systemd[1]: Starting RabbitMQ broker... Jun 11 04:12:15 rabbitmq2 rabbitmq-server[124875]: 2025-06-11 04:12:15.703 [error] Wrong format of the config file RABBITMQ_CONFIG_FILE: /etc/rabbitmq/rabbitmq.conf Jun 11 04:12:15 rabbitmq2 rabbitmq-server[124875]: Check that the file is in the new ini-style config format. If you are using the old format the file extension should be .config Jun 11 04:12:15 rabbitmq2 systemd[1]: rabbitmq-server.service: main process exited, code=exited, status=64/n/a Jun 11 04:12:15 rabbitmq2 systemd[1]: Failed to start RabbitMQ broker. Jun 11 04:12:15 rabbitmq2 systemd[1]: Unit rabbitmq-server.service entered failed state. Jun 11 04:12:15 rabbitmq2 systemd[1]: rabbitmq-server.service failed.
最新发布
06-12
我们正在处理RabbitMQ配置文件格式错误的问题。用户提供的错误信息指出：-配置文件使用了错误的格式-RabbitMQ要求使用新的ini-style格式-如果使用旧格式，文件扩展名应为.config用户之前的问题已经给出了一些解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值