Ray项目在Kubernetes上的生产部署指南

宫榕鹃Tobias

于 2025-06-01 09:01:33 发布

阅读量380

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00932/article/details/148360116

Ray项目在Kubernetes上的生产部署指南

ray ray-project/ray: 是一个分布式计算框架，它没有使用数据库。适合用于大规模数据处理和机器学习任务的开发和实现，特别是对于需要使用分布式计算框架的场景。特点是分布式计算框架、无数据库。项目地址: https://gitcode.com/gh_mirrors/ra/ray

前言

Ray是一个开源的分布式计算框架，而Ray Serve则是构建在Ray之上的可扩展模型服务库。将Ray Serve部署在Kubernetes集群上，可以结合Ray的强大计算能力和Kubernetes的运维优势，为生产环境提供稳定可靠的服务。本文将详细介绍如何在Kubernetes上部署和管理Ray Serve应用。

核心概念

在开始部署前，我们需要了解几个关键概念：

KubeRay Operator：Kubernetes操作器，用于管理Ray集群的生命周期
RayService CRD：自定义资源定义，封装了Ray集群和Serve应用的配置
Ray集群：由头节点(Head Node)和工作节点(Worker Node)组成的计算集群

环境准备

安装KubeRay Operator

确保已安装kubectl和Helm工具
准备一个可用的Kubernetes集群
使用Helm部署KubeRay Operator：

helm install kuberay-operator kuberay/kuberay-operator

部署Ray Serve应用

创建RayService资源

RayService资源包含两个主要部分：

serveConfigV2：Serve应用的配置，可以使用serve build命令生成
rayClusterConfig：Ray集群的配置，包括资源规格、节点数量等

示例配置（text-ml应用）：

apiVersion: ray.io/v1alpha1
kind: RayService
metadata:
  name: rayservice-sample
spec:
  serveConfigV2: |
    applications:
      - name: text_ml_app
        route_prefix: /
        import_path: text_ml:app
        deployments:
          - name: Summarizer
            num_replicas: 1
          - name: Translator
            num_replicas: 1
            user_config:
              language: french
  rayClusterConfig:
    headGroupSpec:
      template:
        spec:
          containers:
            - name: ray-head
              image: rayproject/ray:latest
              resources:
                limits:
                  cpu: "1"
                  memory: "2Gi"
                requests:
                  cpu: "1"
                  memory: "2Gi"
    workerGroupSpecs:
      - replicas: 1
        template:
          spec:
            containers:
              - name: ray-worker
                image: rayproject/ray:latest
                resources:
                  limits:
                    cpu: "1"
                    memory: "2Gi"
                  requests:
                    cpu: "1"
                    memory: "2Gi"

部署应用

保存上述配置为ray-service.text-ml.yaml后执行：

kubectl apply -f ray-service.text-ml.yaml

部署完成后，可以通过以下命令检查状态：

kubectl get rayservices
kubectl get pods
kubectl get services

访问应用

端口转发

在本地访问集群内服务的最简单方式是端口转发：

kubectl port-forward service/rayservice-sample-serve-svc 8000

测试应用

使用curl测试文本摘要和翻译功能：

curl -X POST -H "Content-Type: application/json" localhost:8000/summarize_translate -d '"It was the best of times, it was the worst of times"'

应用监控

查看详细状态

kubectl describe rayservice rayservice-sample

输出包含集群状态、健康检查事件和Serve应用状态等信息。

日志查看

查看KubeRay Operator日志：

kubectl logs -f <kuberay-operator-pod-name>

查看Ray节点日志：

kubectl exec -it <ray-head-pod-name> -- cat /tmp/ray/session_latest/logs/serve/controller.log

应用更新

Serve配置更新

修改serveConfigV2部分并重新应用：

- name: Translator
  num_replicas: 1
  user_config:
    language: german

kubectl apply -f ray-service.text-ml.yaml

集群配置更新

修改rayClusterConfig部分（如增加工作节点）：

workerGroupSpecs:
  - replicas: 2

kubectl apply -f ray-service.text-ml.yaml

高级配置

自动扩缩容

在Serve配置中启用自动扩缩：

autoscaling_config:
  min_replicas: 1
  max_replicas: 5
  target_num_ongoing_requests_per_replica: 10

在Ray集群配置中启用自动扩缩：

enableInTreeAutoscaling: true

负载均衡

建议使用Kubernetes Ingress或云服务商的负载均衡器来暴露Serve服务。

生产建议

资源规划：为生产环境分配足够的CPU和内存资源
依赖管理：将大型依赖项打包到容器镜像中，减少启动时间
监控告警：集成Prometheus和Grafana实现全面监控
日志持久化：配置日志收集系统保存历史日志
高可用：考虑多副本部署关键组件

故障排查

检查KubeRay Operator日志获取部署事件信息
查看Ray节点的/tmp/ray/session_latest/logs/serve/目录下的日志
使用kubectl describe命令查看详细状态和事件

总结

通过KubeRay在Kubernetes上部署Ray Serve应用，可以充分利用两者的优势，构建高可用、可扩展的生产级服务。本文介绍了从基础部署到高级配置的全流程，帮助开发者快速上手并优化生产环境配置。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考