Ray在ACK集群高效部署与优化实践

最新推荐文章于 2025-06-01 09:01:33 发布
原创 最新推荐文章于 2025-06-01 09:01:33 发布 · 998 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

开源框架Ray支持构建可扩展的人工智能（AI）和Python应用程序，广泛应用于机器学习领域。您可以在ACK集群上快速创建Ray Cluster，与阿里云日志服务SLS、Prometheus监控、Redis等快速集成，增强日志管理、可观测、高可用等能力。同时，Ray autoscaler与ACK autoscaler的弹性功能结合能更充分地发挥云的弹性能力，提高计算资源供给效率和性价比。

Ray简介

Ray是一个开源框架，支持构建可扩展的人工智能（AI）和Python应用程序，还提供了简单直观的API简化分布式计算，便于高效地编写并行和分布式Python应用程序，广泛应用于机器学习领域。Ray的统一计算框架由Ray AI libraries、Ray Core和Ray Cluster三层组成。

 

展开查看计算框架的详细介绍

Ray on Kubernetes

KubeRay Operator提供了一种Kubernetes原生的方式管理Ray Cluster。您可以通过KubeRay Operator在Kubernetes（包括阿里云ACK）环境中部署Ray Cluster。安装KubeRay Operator时需要部署Operator Deployment和RayCluster、RayJob和RayService的CRD。

将Ray部署在Kubernetes上能够极大地简化分布式应用程序的部署与管理。优势如下。更多信息，请参见Ray on Kubernetes。

  • 弹性伸缩：Kubernetes能够根据集群工作负载自动伸缩节点数量。与Ray autoscaler集成后，您可以根据工作负载实现Ray Cluster的动态伸缩，优化资源利用率，轻松管理大规模分布式应用程序。

  • 容错性：Ray本身设计了容错机制。在Kubernetes上运行时，该特性得以增强。如果某个Ray节点失败，Kubernetes会自动替换失败节点，保证集群的稳定性和可用性。

  • 资源管理：在Kubernetes中，您可以通过资源请求（Request）和限制（Limit），精细地控制和管理Ray节点使用的资源，例如CPU和内存，以更有效地利用集群资源，避免资源浪费。

  • 简化部署：Kubernetes提供了一套统一的部署、管理和监控容器化应用的机制。通过Kubernetes部署Ray Cluster，可以简化配置和管理流程，确保在不同环境中（开发、测试、生产）部署的一致性。

  • 服务发现和负载均衡：Kubernetes能够提供服务发现和负载均衡。Ray节点之间的通信以及客户端到Ray Cluster的连接都可以通过Kubernetes实现自动管理，从而简化网络配置并提高性能。

  • 多租户支持：Kubernetes中的命名空间可以实现多用户、多团队在同一个Kubernetes集群中同时运行各自的Ray Cluster且互不干扰，便于资源共享。

  • 监控和日志：Kubernetes集成提供监控和日志的可观测能力，可以跟踪Ray Cluster的状态和性能。例如，您可以使用Prometheus和Grafana监控集群的性能指标。

  • 兼容性：Kubernetes是云原生生态系统的核心，与多种云服务提供商和技术栈兼容。通过Kubernetes部署Ray Cluster后，可以在不同的云平台或混合云环境之间快速迁移和扩展。

Ray on ACK

容器服务 Kubernetes 版是全球首批通过Kubernetes一致性认证的容器服务平台，提供高性能的容器应用管理服务，支持企业级Kubernetes容器化应用的生命周期管理。结合ACK的云原生化部署方式，您可以通过KubeRay在ACK集群上快速创建Ray Cluster。

  • 与阿里云SLS日志、ARMS Prometheus监控、Redis等产品无缝对接，可以增强日志管理、可观测和高可用等能力。

  • Ray autoscaler与ACK autoscaler的弹性功能相结合，可以充分发挥云的弹性能力，按需提供计算资源。

image.png

计费说明

本文在ACK集群上创建Ray Cluster后，与阿里云日志服务SLS、Prometheus监控、Redis等快速集成，以增强日志管理、可观测、高可用等能力。

除ACK本身产生的费用外，其他产品也会根据使用的资源产生相应的费用。关于其他产品的计费说明，请参见：

1.环境准备

1.1 创建集群

关于如何创建集群，请参见创建ACK托管集群；如需升级集群版本，请参见手动升级集群。创建ACK集群Pro版且符合以下要求。

  • 集群版本：v1.24及以上。

  • 节点规格：已配置一台8 CPU 32 GB规格及以上的节点。

  • 测试环境可使用推荐的最低规格：生产环境中需以实际情况为准，如需使用GPU节点，请配置GPU节点。

    关于ECS支持的实例规格，请参见实例规格族。

  • 已开启日志服务SLS。

  • 已开启阿里云可观测监控Prometheus版。

  • 已通过kubectl连接Kubernetes集群，且已在本地安装kubectl。具体操作，请参见获取集群KubeConfig并通过kubectl工具连接集群。

（可选）创建云数据库Tair

本文使用Redis实例实现Ray Cluster的容错性和高可用性，您可按需进行创建。创建阿里云云数据库Tair（兼容 Redis）实例，且满足以下要求。

  • 新建的云数据库Tair（兼容 Redis）实例需要与本文使用的ACK集群Pro版处于同Region、同VPC。具体操作，请参见步骤1：创建实例。

  • 添加白名单分组，允许VPC地址段访问。具体操作，请参见步骤2：设置白名单。

  • 获得Redis实例的连接地址（推荐使用专有连接地址）。具体操作，请参见查看连接地址。

  • 获得Redis实例的密码。具体操作，请参见修改或重置密码。

1.2 安装Kuberay-Operator组件

登录容器服务管理控制台，在左侧导航栏选择集群。单击目标集群名称，进入集群详情页面，如下图所示按照序号依次单击运维管理 > 组件管理 > 应用管理 > 点击安装Kuberay-Operator，为目标集群安装Kuberay-Operator组件。

重要

ACK集群提供的Kuberay-Operator托管组件当前处于邀测阶段，如您有使用需求， 请提交工单申请。

image

1.3 部署Ray Cluster

执行以下命令创建名为myfirst-ray-cluster的Ray Cluster，并查看部署情况。

  1. 执行以下命令创建Ray Cluster资源。

    展开查看完整命令代码

  2. 执行以下命令查看Ray Cluster部署情况。

    kubectl get raycluster

NAME                  DESIRED WORKERS   AVAILABLE WORKERS   CPUS   MEMORY   GPUS   STATUS   AGE
myfirst-ray-cluster   1                 1                   5      5G       0      ready    4m19s

    查看Ray Cluster对应Pod。

    kubectl get pod

NAME                                     READY   STATUS    RESTARTS   AGE
myfirst-ray-cluster-head-5q2hk           1/1     Running   0          4m37s
myfirst-ray-cluster-work1-worker-zkjgq   1/1     Running   0          4m31s

    查看Ray Cluster对应Service。

    kubectl get svc

NAME                           TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)                                         AGE
kubernetes                     ClusterIP   192.168.0.1   <none>        443/TCP                                         21d
myfirst-ray-cluster-head-svc   ClusterIP   None          <none>        10001/TCP,8265/TCP,8080/TCP,6379/TCP,8000/TCP   6m57s

2. 集成日志服务SLS能力

您可以在Ray Cluster中集成阿里云日志服务SLS，实现日志的持久化存储。

  1. 执行以下命令，创建一个全局的AliyunLogConfig资源对象，使集群中的Logtail组件自动收集Ray Cluster的Pod产生的日志，并将其存入对应的SLS Project中。

    展开查看完整命令代码

    参数

    描述

    logPath

    收集Pod中/tmp/ray/session_*-*-*_*/logs目录下的所有日志，可自定义路径。

    advanced.k8s.ExternalK8sLabelTag

    在收集的日志中增加Tag索引，便于查找日志。默认新增_raycluster_name_和_node_type_两个Tag。

    关于AliyunLogConfig参数配置的更多信息，请参见通过DaemonSet-CRD方式采集容器日志。该服务收费，具体费用，请参见计费概述。

  2. 查看Ray Cluster日志信息流程。

    登录容器服务管理控制台，在左侧导航栏选择集群。单击目标集群名称，进入集群详情页面，如下图所示按照序号依次单击集群信息 > 基本信息 > 集群资源，单击日志服务 Project右侧的链接进入对应的SLS Project。

    image

  3. 在Project中选择rayclusters对应的Logstore并查看日志内容。

    您可以根据Tag，例如_raycluster_name_，查看不同Ray Cluster的日志。

    image

3. 集成阿里云Prometheus监控能力

您可以在Ray Cluster中使用阿里云Prometheus监控能力，关于Prometheus监控功能的更多信息，请参见使用阿里云Prometheus监控。

您可执行以下命令部署Pod Monitor和Service Monitor资源，用于收集Ray Cluster 的Metric数据。

  1. 执行以下命令部署Pod Monitor资源。

    展开查看完整代码示例

  2. 执行以下命令部署Service Monitor资源。

    展开查看完整代码示例

  3. 登录控制台查看资源部署接入情况。

    1. 登录ARMS控制台。在左侧导航栏单击接入中心，在基础设置页面，如下图所示按照序号依次单击②搜索Ray > ③选中Ray，然后在Ray面板选择上文新建的集群，单击确定。

      image

    2. 接入成功后，单击接入管理，跳转至ARMS接入管理页面。在组件管理页签，单击组件类型区域的大盘，选择Ray Cluster。

      image

    3. 在大盘中选择对应Namespace、RayClusterName和SessionName进行过滤，查看Ray Cluster运行中任务的监控数据。

      image.png

segwyang
关注
Ray 集群部署操作文档与大型集群最佳实践指南
maxcode
02-26 331
Ray 集群部署操作文档与大型集群最佳实践指南​。
kuberay 安装和使用
陈锐的技术笔记
01-10 2360
KubeRay 是一个基于 Kubernetes 的项目，旨在简化在 Kubernetes 上部署和管理 Ray 集群的过程。先贴点正确的废话：1.KubeRay 提供了一个易于使用的界面和工具，允许用户快速创建、配置和管理 Ray 集群，而不需要深入了解底层 Kubernetes 的细节。2.通过使用 Kubernetes 的自定义资源定义（CRD），用户可以通过简单的 YAML 配置文件来定义 Ray 集群的结构和参数，KubeRay 自动处理资源的创建和配置。3.
k8s集群离线安装kuberay operator
m0_62464865的博客
02-14 864
内网环境下，在k8s集群中安装kuberay operator
Ray项目在Kubernetes上的生产部署指南
最新发布
gitblog_00932的博客
06-01 475
Ray项目在Kubernetes上的生产部署指南 前言 Ray是一个开源的分布式计算框架，而Ray Serve则是构建在Ray之上的可扩展模型服务库。将Ray Serve部署在Kubernetes集群上，可以结合Ray的强大计算能力和Kubernetes的运维优势，为生产环境提供稳定可靠的服务。本文将详细介绍如何在Kubernetes上部署和管理Ray Serve应用。 核心概念 在开始部署前，我...
KubeRay下载与安装教程
gitblog_01289的博客
10-18 1039
KubeRay下载与安装教程 1. 项目介绍 KubeRay是雷神(Ray)社区推出的强大开源工具，专门用于简化在Kubernetes上部署和管理Ray应用的过程。它通过提供三个核心自定义资源定义（CRDs）：RayCluster, RayJob, 和 RayService，支持广泛的工作负载部署。KubeRay不仅全面管理RayCluster的生命周期，包括创建、删除、自动缩放和故障恢复，而且...
KubeRay 项目安装与配置指南
gitblog_01292的博客
10-18 1376
KubeRay 项目安装与配置指南 1. 项目基础介绍和主要编程语言 KubeRay 是一个开源的 Kubernetes 操作器，旨在简化 Ray 应用程序在 Kubernetes 上的部署和管理。Ray 是一个用于构建分布式应用程序的开源框架，广泛应用于机器学习和数据处理领域。KubeRay 通过提供自定义资源定义（CRD）来管理 Ray 集群的生命周期，包括创建、删除、自动扩展和故障恢复。 K...
【亲测免费】 KubeRay部署与使用指南
gitblog_00919的博客
08-07 1246
KubeRay部署与使用指南 1. 项目目录结构及介绍 KubeRay 是一个强大的开源 Kubernetes 运算符，旨在简化在 Kubernetes 上部署和管理 Ray 应用的过程。下面是基于 ray-project/kuberay 的大致目录结构以及关键组件的简要说明： . ├── api-server # API服务器相关代码，负责处理CRD的逻辑。 ├...
Ray K8s 集群部署
Github_Lee的博客
05-23 6365
使用Kuberay Operator是官方推荐的方式，operator 提供了一种k8s原生方式的管理ray集群的方法。可以在本地 通过 Ray job submit 的方式将本地的 scripts 项目提交至 Ray 集群中执行。注意事项：我之前部署Ray 的时候有可能用的就是较早版本的 Kuberay operator。2）首先部署 kuberay operator：一个用来创建以及管理ray集群的 pod。kuberay operator已成功执行，现在可以通过它来部署一个简单的 ray集群。
基于KubeRay提交RayJob
Keep Learning
05-10 2019
通过kuberay提交Ray job
在ACK集群中自动化执行Ray Job
11-27 1223
企业在管理集群资源时面临的主要挑战是任务量庞大而资源有限。为解决这一问题，需要优先将资源分配给关键部门或个人，并保持高度的灵活性以随时调整资源分配。本文将介绍如何提高企业集群资源的利用率，并通过统一的任务管理平台自动化处理来自不同部门的大量Ray Job，支持任务插队和动态优先级调整，确保高优先级任务能够优先获得资源。
阿里云ack集群升级流程
u010674101的专栏
11-20 526
最近一直在升级过期的ack 集群版本 从1.22升级到1.24.。
Kubernetes Operator开发 (小白入门 包懂 包会)
欢迎来到云逸的博客频道
09-04 3471
本文介绍了Operator是什么 有什么作用 应用场景有哪些，也介绍了利用Kubebuild开源项目实现Operator完整的开发过程。希望对大家开发Operator有帮助
Ray的单机、多机部署及性能优化
m0_73251643的博客
06-25 4402
Ray 是伯克利大学 RISELab 研发的分布式计算系统，本篇文章将进行ray的单机部署、多机部署以及性能测试等工作。实验环境为ustc的vlab虚拟机。
探索未来计算边界：KubeRay，让Ray遇见Kubernetes的奇妙之旅
gitblog_00136的博客
08-06 932
探索未来计算边界：KubeRay，让Ray遇见Kubernetes的奇妙之旅 ray-contribContributed modules to ray项目地址:https://gitcode.com/gh_mirrors/ra/ray-contrib 在分布式计算与容器编排两大领域交汇处，有一颗璀璨的新星——KubeRay，它巧妙地将高性能的Ray框架融入到强大的Kubernetes生态系统中...
Kubernetes-Operator篇-01-Operator开篇
一叶知秋
10-04 1025
operator开发相关的名词和流程简介
使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载
字节跳动云原生计算官方账号
12-08 2634
为了提供简洁的分布式编程体验，Ray Core 内部做了非常多工作，比如 actor 调度和 object 的生命周期管理等，上图左侧展示了如何使用 Ray Core 编写一个简单的分布式程序，square 函数和 Counter 类通过 Ray 的语法糖，变成了一些在远程运行的对象，其计算过程会被异步调用并存储在 object store 中，最后通过 ray.get 来获取到本地。随着作业规模的增大，如何有限资源下调度不同优先级的作业，让大家都能稳定有序去使用 GPU 等资源是一个非常重要的问题。
在 Kubernetes 中部署 Ray：详细指南
maxcode
02-26 1241
KubeRay 是 Ray 社区为 Kubernetes 提供的 Operator，它通过 Kubernetes 的自定义资源定义（CRD）来管理 Ray 集群。RayCluster：用于定义和管理 Ray 集群。RayJob：用于定义和运行 Ray 任务。RayService：用于定义和管理基于 Ray 的服务。这些 CRD 使得用户可以使用 Kubernetes 原生的方式管理 Ray 集群，包括自动扩展、资源管理、多版本支持等功能。创建一个名为的文件，定义一个 Ray 集群。
kubernetes operator解析
从大数据到人工智能的博客
06-16 2507
简而言之，控制器循环是控制器动作的基础。想象一下，有一个非终止过程（在 Kubernetes 中称为协调循环）一遍又一遍地发生，如下图所示：此过程至少观察一个 Kubernetes 对象，其中包含有关所需状态的信息。对象如…ServicesSecretsIngress…由配置文件定义，配置文件由 JSON 或 YAML 中的清单组成。然后控制器根据内置逻辑通过 Kubernetes API 进行持续调整以模仿所需状态，直到当前状态变为所需状态。
ACK集群
03-18
<think>好的，用户想了解阿里云容器服务ACK集群的使用指南或常见问题。首先，我需要整理ACK的基本概念和使用场景。根据引用[1]，ACK用于容器化应用的部署和管理，很多企业都在使用。接下来，使用指南应该包括集群创建、应用部署、监控运维等步骤。比如引用[4]提到使用Alibaba Cloud Toolkit进行镜像打包和上传，这部分需要详细说明。 然后是常见问题，用户可能遇到集群创建失败、节点无法连接、存储配置问题等。引用[2]提到备份服务使用OSS，所以备份配置也是常见问题之一。另外，扩缩容方面，引用[3]和[5]提到自定义指标和HPA，这部分需要解释如何实现自动扩缩容。 性能优化方面，用户可能需要了解如何优化集群性能，比如资源分配和网络配置。安全部分需要强调权限管理和镜像安全，比如RBAC和私有镜像仓库的使用。 还需要考虑用户可能对成本优化感兴趣，比如合理分配资源和使用Spot实例。同时，故障排查部分要提供日志查看和事件监控的方法，帮助用户自主解决问题。 最后，生成相关问题时要覆盖部署、监控、备份、扩缩容、安全和成本等方面，确保全面覆盖用户潜在需求。需要确保所有信息准确，并正确引用提供的资料，比如备份服务使用OSS[^2]，扩缩容依赖ack-alibaba-cloud-metrics-adapter[^3]等。同时，保持回答结构清晰，分点说明，便于用户理解。</think>### 阿里云容器服务 ACK 集群使用指南 #### 一、核心功能与使用场景 1. **容器化应用管理** 支持通过 Kubernetes 原生方式部署和管理容器化应用，适用于微服务架构、DevOps 流程等场景[^1]。 2. **混合云与多云部署** 提供统一控制台管理跨地域、跨云平台的 Kubernetes 集群。 3. **AI/LLM 推理加速** 集成 NVIDIA NIM 技术，支持 GPU 资源调度优化，加速大语言模型推理任务[^3][^5]。 #### 二、快速入门步骤 1. **集群创建** ```bash # 通过阿里云控制台或 CLI 创建 ACK 集群 aliyun cs CreateCluster --name my-cluster --region cn-hangzhou ``` 注意：创建时需选择网络插件（Flannel/Terway）、节点规格等参数。 2. **应用部署** - **镜像推送** 使用 Alibaba Cloud Toolkit 插件自动打包镜像并推送至 ACR 镜像仓库[^4]： ```dockerfile FROM openjdk:11 COPY target/app.jar /app CMD ["java", "-jar", "/app.jar"] ``` - **YAML 部署示例** ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: web-app spec: replicas: 2 template: spec: containers: - name: nginx image: registry.cn-hangzhou.aliyuncs.com/my-repo/nginx:1.20 ``` 3. **运维监控** - 通过 Prometheus 监控集群指标 - 使用 **ack-alibaba-cloud-metrics-adapter** 组件实现自定义指标 HPA #### 三、常见问题解决方案 | 问题类型 | 排查步骤 | 工具/命令 | |---------|----------|-----------| | 节点不可用 | 1. 检查节点状态 `kubectl get nodes`<br>2. 查看系统日志 `journalctl -u kubelet` | kubectl, SSH | | Pod 启动失败 | 1. 检查事件 `kubectl describe pod <pod-name>`<br>2. 查看容器日志 `kubectl logs <pod-name>` | kubectl | | 存储挂载异常 | 1. 验证 PV/PVC 绑定状态<br>2. 检查 OSS 存储桶权限[^2] | CSI 插件检查工具 | #### 四、高级功能实践 1. **自动扩缩容配置** ```yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: llm-inference-hpa spec: metrics: - type: Pods pods: metric: name: gpu_utilization target: type: AverageValue averageValue: 70% ``` 注：压测期间 Pod 可自动扩容，结束后 5 分钟内缩容[^5] 2. **数据备份恢复** ```bash # 创建备份仓库（OSS） velero install --provider alibabacloud --bucket my-backup-bucket # 执行定时备份 velero schedule create daily-backup --schedule="@daily" ``` §§ 1. 如何通过 ACK 实现混合云场景下的应用统一管理？ 2. 在 ACK 中使用 GPU 资源需要注意哪些配额限制？ 3. ACK 集群如何与阿里云日志服务 SLS 集成？ 4. 如何配置跨可用区的高可用 ACK 集群？ 5. ACK Serverless 集群与传统托管集群的性能差异？[^4]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值