14、并行计算与分布式集群:原理、实践与权衡

并行计算与分布式集群:原理、实践与权衡

本地并行工作的高效实现

在本地环境中处理并行工作时,我们可以采用比之前介绍的轮询组(RoundRobinGroup)更好的方法。对于本地参与者(actors),可以使用平衡池(BalancingPool)创建路由器。平衡池会在池中的所有参与者之间共享一个邮箱,并通过“工作窃取”机制将负载重新分配给空闲的参与者。当有工作要做时,由于所有参与者都从同一个邮箱中提取消息,因此可以确保没有空闲的参与者。虽然从技术上讲,这并非真正的工作窃取(因为路由器不像 ForkJoinPool 那样重新分配工作),但最终结果是相同的,即不会出现一个参与者有多个消息排队,而另一个参与者没有消息的情况。这种方式通常能比其他平衡策略更好地利用资源。

平衡池使用特殊的调度器——平衡调度器(BalancingDispatcher)。在大多数情况下,我们希望平衡调度器的线程数量与所使用的参与者数量相等。以下是具体的配置和实现步骤:
1. 配置默认的平衡调度器执行器 :在 application.conf 中配置平衡调度器执行器,使其正好有 8 个线程。

//Dispatcher for BalancingPool
pool-dispatcher { 
   fork-join-executor { # force it to allocate exactly 8 threads 
     parallelism-min = 8 
     parallelism-max = 8 
   }
}
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值