18、Ray集群部署与使用指南

Ray集群部署与使用指南

1. 停止Ray进程与手动创建Ray集群

若要停止任何节点上的Ray进程，只需运行 ray stop ，这是手动创建Ray集群的方式。接下来，我们将探讨使用流行的Kubernetes编排框架来部署Ray集群。

2. 在Kubernetes上部署Ray集群

2.1 Kubernetes简介

Kubernetes是用于集群资源管理的行业标准平台，允许软件团队在各种生产环境中无缝部署、管理和扩展业务应用程序。它最初由Google开发，现在许多组织都将其作为集群资源管理解决方案。

2.2 KubeRay项目

社区维护的KubeRay项目是在Kubernetes上部署和管理Ray集群的标准方式。KubeRay操作符可帮助在Kubernetes上部署和管理Ray集群，集群被定义为自定义的RayCluster资源，并由容错的Ray控制器管理。该操作符的主要功能如下：
- 通过自定义资源管理一流的RayCluster。
- 支持单个Ray集群中的异构工作节点类型。
- 通过Prometheus进行内置监控。
- 使用PodTemplate创建Ray Pod。
- 根据运行的Pod更新状态。
- 自动在容器中填充环境变量。
- 自动在容器命令前添加Ray启动命令。
- 自动在 /dev/shm 处添加卷挂载以用于共享内存。
- 使用ScaleStrategy移除特定组中的特定节点。

2.3 设置第一个KubeRay集群