大家好,在实际研究中,即使是具有多个CPU核心的单处理器计算机,也会给人一种能够同时运行多个任务的错觉。当我们拥有多个处理器时,就可以真正以并行的方式执行计算,本文将简要介绍Python分布式计算。
1.并行计算与分布式计算的区别
并行计算在现代计算中非常有用,几乎是必需的,目的是实现最大性能。开发者将运行时间较长的计算任务分成较小的块,并将其分配给不同的处理器,这种策略使开发者能够在相同的时间内进行更多的计算。对于构建基于GUI的应用程序,总是需要对系统进行并行设计,以便一个线程可以保持可用状态以更新GUI并响应用户输入。
并行计算和分布式计算的区别在于,对于并行计算,多个处理器位于同一主板上。分布式计算则使用多台计算机同时解决问题,现代分布式系统能够在网络(局域网/广域网)上进行通信。分布式计算的优点在于其价格和可扩展性,如果开发者需要更多的计算能力,那么可以很轻松地添加更多的计算机。
从根本上讲,并行计算和分布式计算的架构非常相似,主要区别在于分布式计算使用的是分布式内存空间,而不是共享内存空间。它具有能够为开发者的应用程序提供统一逻辑(而不是物理)内存空间的软件层,可以帮助开发者将为并行计算编写的代码应用于分布式计算。下面将介绍如何使用开源Python库Ray来帮助开发者进行并行和分布式计算,Ray将Pythonic函数和类转换为分布式设置中的任务和角色。
2.使用pip安装Ray
这将安装支持仪表板+集群启动器的Ray:
pip install 'ray[default]'
如果只想进行最小化安装:
pip install -U ray
3.使用Ray进行并行计算任务
接下来执行一个示例,该示例使用concurrent.futures,并将

最低0.47元/天 解锁文章
2562

被折叠的 条评论
为什么被折叠?



