并行计算与分布式集群:原理、实践与权衡
本地并行工作的高效实现
在本地环境中处理并行工作时,我们可以采用比之前介绍的轮询组(RoundRobinGroup)更好的方法。对于本地参与者(actors),可以使用平衡池(BalancingPool)创建路由器。平衡池会在池中的所有参与者之间共享一个邮箱,并通过“工作窃取”机制将负载重新分配给空闲的参与者。当有工作要做时,由于所有参与者都从同一个邮箱中提取消息,因此可以确保没有空闲的参与者。虽然从技术上讲,这并非真正的工作窃取(因为路由器不像 ForkJoinPool 那样重新分配工作),但最终结果是相同的,即不会出现一个参与者有多个消息排队,而另一个参与者没有消息的情况。这种方式通常能比其他平衡策略更好地利用资源。
平衡池使用特殊的调度器——平衡调度器(BalancingDispatcher)。在大多数情况下,我们希望平衡调度器的线程数量与所使用的参与者数量相等。以下是具体的配置和实现步骤:
1. 配置默认的平衡调度器执行器 :在 application.conf 中配置平衡调度器执行器,使其正好有 8 个线程。
//Dispatcher for BalancingPool
pool-dispatcher {
fork-join-executor { # force it to allocate exactly 8 threads
parallelism-min = 8
parallelism-max = 8
}
}
超级会员免费看
订阅专栏 解锁全文
1179

被折叠的 条评论
为什么被折叠?



