Ray:分布式计算与数据科学库的全面解析
1. 分布式计算框架Ray简介
Ray 是一个分布式计算框架,其核心引擎和 API 处于中心地位,众多库都构建在 Ray Core 之上。这主要是因为 Ray Core 简洁且易于理解,它鼓励开发者用 Ray 编写自己的应用程序甚至库。
Ray 可以设置并管理计算机集群,从而让用户能够在集群上运行分布式任务。一个 Ray 集群由通过网络相互连接的节点组成,我们针对所谓的驱动程序(位于头节点的程序根)进行编程。驱动程序可以运行作业,作业由一系列任务组成,这些任务会在集群的节点上运行,具体来说,作业的各个任务会在工作节点的工作进程上执行。
值得注意的是,Ray 集群也可以是本地集群,即仅由你自己的计算机组成的集群。在这种情况下,只有一个节点,也就是头节点,它包含驱动进程和一些工作进程。默认的工作进程数量是你机器上可用的 CPU 数量。
2. 安装与启动本地 Ray 集群
在安装 Ray 之前,需要注意:目前 Ray 不支持 Python 3.10,建议使用 3.7 到 3.9 版本。可以使用 pip 在任何主流操作系统上无缝安装 Ray:
pip install "ray[rllib, serve, tune]==2.2.0"
简单的 pip install ray 只会安装 Ray 的基础部分,而上述命令安装了一些“额外”功能,如 rllib 、 serve 和 tune
Ray:分布式计算与数据科学库解析
超级会员免费看
订阅专栏 解锁全文
855

被折叠的 条评论
为什么被折叠?



