开源平台Ray加速LLM模型训练部署

最新推荐文章于 2025-07-01 07:30:00 发布
最新推荐文章于 2025-07-01 07:30:00 发布
阅读量1.1k 收藏 13
点赞数 9
CC 4.0 BY-SA版权
文章标签： 开源 人工智能 分布式 阿里云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AliCloudROS/article/details/145858813

开源平台Ray加速LLM模型训练部署

Ray 平台简介

Ray 是一个支持模型训练、测试以及部署的开源平台，由加州大学伯克利分校的 RISELab 开发。它旨在简化大规模机器学习、强化学习和分布式计算任务的开发与部署。Ray 的设计目标是提供高性能、灵活性和易用性，使开发者能够轻松构建和扩展复杂的分布式应用程序。无论是处理海量数据、训练深度学习模型，还是运行强化学习算法，Ray 都能提供强大的支持。
在这里插入图片描述

Ray提供了大量的帮助文档，其中包含许多示例和教程，帮助用户快速掌握如何通过Ray进行模型训练、测试和部署。
在这里插入图片描述

还提供了大量适用于生产环境中的模型服务化的例子，涉及大语言模型，强化学习，机器学习模型, 图像生成（Stable Diffusion），图像分类，文本分类和目标检测等众多领域和方向， 帮助模型开发者能够快速通过Ray构建和部署模型服务。
在这里插入图片描述

Ray 的核心能力

1. 分布式计算

  • 分布式训练：Ray 提供了分布式训练的能力，支持多机多卡的模型训练，显著缩短训练时间。
  • 并行任务执行：Ray 支持将任务分解为多个子任务，并在分布式环境中并行执行，从而高效处理大规模数据和计算密集型任务。
  • 动态任务调度：Ray 提供了一个灵活的任务调度器，可以根据资源需求动态分配计算资源，优化任务执行效率。
  • 容错机制：内置的容错机制能够在节点故障时自动恢复任务，确保系统的高可用性。

2. 模型训练和测试

  • 支持主流机器学习框架：Ray 可以与 TensorFlow、PyTorch 等主流机器学习框架无缝集成，加速模型训练和推理。
  • 支持强化学习：Ray 集成了 RLlib，这是一个强大的强化学习库，支持多种算法（如 DQN、PPO、A3C 等），适用于各种强化学习场景。
  • 高效仿真环境：Ray 可以与仿真环境（如 OpenAI Gym）结合，快速构建和测试强化学习模型。
  • 超参数调优：通过 Ray Tune（Ray 的超参数优化库），用户可以高效地进行超参数搜索，找到最优模型配置。

3. 服务编排与部署

  • Ray Serve：Ray 提供了一个轻量级的服务编排框架（Ray Serve），用于部署和管理机器学习模型和服务。它支持多模型组合、动态扩展和低延迟推理。
  • 实时推理：Ray Serve 能够处理高并发的实时推理请求，适合生产环境中的模型服务化。

4. 大规模数据处理

  • Ray Data：Ray 提供了一个分布式数据处理库（Ray Data），用于高效处理大规模数据集。它支持常见的数据操作（如过滤、映射、聚合等），并能与其他 Ray 组件无缝集成。
  • 与大数据生态兼容：Ray 可以与 Apache Spark 等大数据工具结合使用，进一步扩展其数据处理能力。

Ray 的部署方式

通过以上介绍可以看出，Ray 是一个功能强大且灵活的分布式计算平台，适用于从机器学习到科学计算的广泛场景。它的高性能、易用性和丰富的生态系统使其成为开发者的首选工具之一。

那么，该如何部署和使用 Ray 呢？

本地单机部署

Ray支持在不同操作系统下的本地部署，且提供了python、Java、C++以及Docker等情况下的安装方式。

本地集群部署

前提条件： 用户已有k8s集群或可自行创建k8s集群。

由于单机场景下性能有限，难以支持生产场景下的模型训练，Ray还提供了开源的集群版本：KubeRay。

用户可根据RayCluster Quickstart流程部署KubeRay，
可根据RayJob Quickstart体验如何通过KubeRay管理任务，
还可根据RayService Quickstart体验如何通过KubeRay部署用户应用。
仓库中还提供了一些生产环境中的示例应用，帮助用户快速了解KubeRay下的模型部署过程。
在这里插入图片描述

阿里云一键部署

前提条件： 开通阿里云账号。

阿里云计算巢提供了Ray的一键部署服务，用户无需手动搭建Ray集群，仅需在创建实例后等待约10分钟，即可体验Ray集群的强大能力。

部署流程

  1. 点击Ray一键部署链接，
    进入创建Ray集群的页面。如没有阿里云账号需要先注册账号哦。

  2. 创建Ray集群时，首先选择新建ACK集群。
    在这里插入图片描述

  3. 为保障Ray的流畅运行，Worker节点建议选择 8vCpu 16GiB 以上的规格。如果有Gpu需求，需要选择有Gpu的规格。然后填写实例密码。
    在这里插入图片描述

  4. 选择任意一个可用区，然后点击 下一步：确认订单。
    在这里插入图片描述

  5. 确认依赖权限已授权，如未授权，请点击授权。然后点击 立即创建
    在这里插入图片描述

  6. 点击 去列表查看
    在这里插入图片描述

  7. 跳转到计算巢控制台的服务实例界面后，请等待Ray集群创建完成，大约需要10分钟。
    在这里插入图片描述

  8. 创建Ray集群完成后，点击 Ray集群名称进入Ray集群详情页面。
    在这里插入图片描述

  9. 点击透出的web url，即可访问到Ray集群的Ray Dashboard。此时Ray集群已经成功运行，可通过 下一节：快速体验模型部署 了解如何在集群内部署自己的模型。
    在这里插入图片描述
    在这里插入图片描述

体验模型服务部署

通过阿里云创建Ray集群后，本节展示如何在Ray集群上部署一个基于 Stable Diffusion 的文本到图像生成服务。更多示例可参考[http://docs.ray.io/en/master/cluster/kubernetes/examples/stable-diffusion-rayservice.html#kuberay-stable-diffusion-rayservice-example)。

集群绑定公网IP(如果已绑定可跳过)

⚠️注意： 如果不绑定公网IP，会导致Ray集群拉取模型文件失败，也会导致Ray集群无法提供对外服务。

  1. 在服务实例详情页面，点击 资源 ，查看Ray集群的资源使用情况。
    在这里插入图片描述

  2. 找到k8s集群，点击名称进入k8s集群详情页面。
    在这里插入图片描述
    在这里插入图片描述

  3. 点击 绑定公网IP ，选择已有EIP。如果没有EIP，点击创建EIP，创建完成后，返回该页面绑定公网IP。
    在这里插入图片描述 在这里插入图片描述

通过 kubectl 连接 Kubernetes 集群

  1. 在服务实例详情页面，点击 资源 ，查看Ray集群的资源使用情况。
    在这里插入图片描述

  2. 找到k8s集群，点击名称进入k8s集群详情页面。
    在这里插入图片描述

  3. 点击连接信息，查看kubeconfig文件。
    在这里插入图片描述

  4. 点击 安装和设置 kubectl 。这是一个用本地设备管理k8s集群的工具。可根据自身操作系统选择对应的安装方式。
    在这里插入图片描述
    在这里插入图片描述

  5. 在本地设备上执行以下命令或自行在目录路径下手动创建$HOME/.kube/config文件，并将kubeconfig文件内容粘贴到该文件中。

    sudo mkdir -p $HOME/.kube
sudo touch $HOME/.kube/config
sudo chmod 777 $HOME/.kube/config
vim $HOME/.kube/config
部署模型服务
  1. 将kubeconfig文件内容粘贴到该文件中后，按链接教程从Step 3开始继续在本地设备上执行命令。

更多信息

  1. Ray官网
  2. Ray单机版开源库
  3. Ray集群版开源库
  4. Ray QuickStart帮助文档
  5. Ray 模型服务化示例文档
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM（一）
以微薄之力，予他人些许温暖.
05-05 1万+
解析Qwen3-8B与vLLM的技术协同逻辑，探讨其在复杂任务中的性能表现及落地价值。
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-Docker（二）
热门推荐
以微薄之力，予他人些许温暖.
05-06 2万+
通过容器化技术整合高性能推理框架vLLM与Qwen3-8B模型，可实现资源高效利用、灵活部署及推理性能优化，为大模型本地化应用提供轻量化解决方案
Ludwig:一个用于训练和测试深度学习模型的无代码平台-开源
04-29
Ludwig是在TensorFlow之上构建的工具箱，无需编写代码即可训练和测试深度学习模型。 您只需要提供一个CSV文件，其中包含您的数据，一列用作输入的列以及一列用作输出的列，其余的将由Ludwig完成。 简单的命令可用于在本地和分布式方式训练模型，并使用它们来预测新数据。
Ray K8s 集群部署
Github_Lee的博客
05-23 6323
使用Kuberay Operator是官方推荐的方式，operator 提供了一种k8s原生方式的管理ray集群的方法。可以在本地 通过 Ray job submit 的方式将本地的 scripts 项目提交至 Ray 集群中执行。注意事项：我之前部署Ray 的时候有可能用的就是较早版本的 Kuberay operator。2）首先部署 kuberay operator：一个用来创建以及管理ray集群的 pod。kuberay operator已成功执行，现在可以通过它来部署一个简单的 ray集群。
Ray项目实战教程：使用请求批处理部署文本生成模型
gitblog_00163的博客
06-01 238
Ray项目实战教程：使用请求批处理部署文本生成模型 前言 在现代AI服务部署中，高效处理并发请求是提升系统性能的关键。Ray Serve作为Ray项目的服务部署组件，提供了强大的请求批处理能力，可以显著提升GPU等硬件资源的利用率。本文将详细介绍如何在Ray Serve中实现文本生成模型的批处理部署。 批处理技术原理 批处理(Batching)技术通过将多个请求合并处理，主要带来两大优势： 提高...
谷歌开源NLP模型可视化工具LIT，模型训练不再「黑箱」
喜欢打酱油的老鸟
08-27 961
2020-08-26 12:56:57 机器之心报道 编辑：陈萍、魔王 深度学习模型的训练就像是「黑箱操作」，知道输入是什么、输出是什么，但中间过程就像个黑匣子，这使得研究人员可能花费大量时间找出模型运行不正常的原因。假如有一款可视化的工具，能够帮助研究人员更好地理解模型行为，这应该是件非常棒的事。 近日，Google 研究人员发布了一款语言可解释性工具 (Language Interpretability Tool, LIT)，这是一个开源平台，用于可视化和理解自然语言处理模型。 论文地址.
【python】Ray集群搭建
qq_35061334的博客
10-27 8940
准备条件 python https://ray.readthedocs.io/en/latest/index.html
ray 集群概述
小那的博客
01-14 4213
ray 集群概述 ray的长处之一就是能够在一个程序中利用多个机器运行，在多机器的集群中才能发挥ray的真正能力。 关键的概念 ray node: ray 的集群是有一个head node和多个 worker node组成的。head node需要先启动，然后worker node使用head node的地址启动以形成集群。ray 集群自己可以做到自动缩放，可以与Cloud Provider交互，根据应用的工作负载来释放或者申请instances. ports: ray的进程是通过tcp端口号进行交流的。无
【LLM大模型】2024开源项目汇总_dify chat2sql
2401_85773359的博客
08-08 2650
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发对比说明可参考：开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。2.2 FastGPT：一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。
第3章 开源大模型框架概览3.3 其他框架与工具3.3.3 Ray：大规模分布式计算
AI智能涌现深度研究
02-27 474
随着机器学习模型越来越大，训练和部署这些模型需要更多的计算资源。单台服务器很快就无法满足计算需求。这时，分布式计算成为了必然的选择。但是，分布式计算存在诸多挑战，例如通信开销、故障处理和协调等。Ray致力于解决这些问题，提供一个简单、高效的分布式计算平台。Ray是一种非常有前途的分布式计算平台。它已经得到了广泛的社区支持和商业采用。未来，Ray可能成为构建大规模机器学习系统的首选框架。但是，Ray也面临着许多挑战。例如，Ray的部署和管理仍然比较复杂。Ray的性能也需要进一步优化。
【DeepSeek实战】5、DeepSeek大模型分布式部署：从vLLM到K8s+Ray的生产级实践
最新发布
RickyIT的专栏
07-01 850
《大模型分布式部署技术解析与实战》 摘要：本文针对DeepSeek系列大模型（7B/70B）的分布式部署需求，系统分析了三大主流技术方案。文章首先剖析了大模型分布式部署的核心挑战，包括模型并行策略（张量并行、流水线并行、专家并行）和通信调度技术（NVLink、InfiniBand、NCCL），并对比了不同并行策略的适用场景。重点介绍了vLLM单机多卡部署方案，详细展示了离线批量推理和在线API服务两种模式的具体实现，包括环境准备、代码示例和性能优化技巧。通过完整的架构解析和实战案例，为工业级大模型部署提供了
FastMoE开源分布式MoE模型训练系统
朝闻道
01-23 1207
公众号：系统之神与我同在 FastMoE开源分布式MoE模型训练系统 本文分为三部分： 回顾MOE的发展历程 FastMOE的框架设计 FastMOE v0.2的特性 预训练模型的发展趋势:规模越来越大 MOE结构：扩充模型容量的新途径训 MoE的发展历史 图解（巧妙地运用数据并行来构建MOE专家池）解 图解（T5+MoE） MOE模型研究前沿 使用pytorch和MoE训练您的MOE网络 FastMoE的并行模式 FastMOE的实战成果 FastMOE v0.2 开源分布式MOE模型训
大模型开发入门必读资料（非常详细）收藏这一篇就够了
leah126的博客
05-25 1493
随着 GPT 的爆红，“AI 大模型” 已成为技术圈最火的话题。华为、阿里、腾讯、字节等大厂纷纷加大对 AI 技术和市场的投资，许多 AI 创业公司也如雨后春笋般涌现。这些公司都在以高薪资争夺 AI 大模型人才。作为普通工程师，我们要及时抓住机会，才能享受 AI 技术带来的红利。要抓住这些机会，首先需要掌握扎实的技术。现在向大家推荐一本书：《大规模语言模型：从理论到实践》。这本书从理论到实战，带领读者一步步实现大模型，是你提升技能、迈向 AI 大模型领域的绝佳指南。
大模型训练部署利器--开源分布式计算框架Ray原理介绍
2401_83124266的博客
03-03 1万+
本文介绍了分布式计算框架Ray的原理。
牛炸天！开源平台 Oumi 让大模型训练、微调、部署一气呵成，谁用谁赚！
Python单行客的博客
02-04 2308
帮忙点击，给个关注呗!在人工智能飞速发展的当下，大模型成为了众多研究与应用的核心。然而，从模型的训练、微调，到评估、部署，每一个环节都充满挑战。今天，我要给大家介绍的Oumi项目，犹如一位贴心的“大模型管家”，致力于简化大模型的整个生命周期，让我们一起来了解它。
Ray框架下pytorch模型训练（图像分类）
lixinpeng16的博客
06-16 1178
Ray框架下pytorch模型训练自己的图片数据集进行图像分类
大模型：2024开源项目汇总
z099164的博客
07-26 2720
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发应用构建工具: 插件中心, 流程编排, Prompt工程, RAG, Agent模型开发工具: 训练数据管理, 模型调优, 模型评测, 模型部署对比说明可参考：**2.1 Dify：**开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
AI：ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-20 1万+
ModelScope旨在打造下一代开源的模型即服务共享平台，汇集了行业领先的预训练模型，减少了开发者的重复研发成本。个人认为，相比于AI公司经常卖一款软件产品或者卖一个算法需求，而ModelScope更偏向于某种功能(model端到端)实现，初级AI从业者也能很容易实现大模型，有点低代码的感觉。当前ModelScope的功能，相比于CV、NLP的丰富内容，它在DS方面、可视化方面、解释性方面的就相对较少，同时，产品定位 To B和To C的功能域划分，也不算是很清晰，当然这也是该领域一个共同困扰。首次，当然
Ray的单机、多机部署及性能优化
m0_73251643的博客
06-25 4336
Ray 是伯克利大学 RISELab 研发的分布式计算系统，本篇文章将进行ray的单机部署、多机部署以及性能测试等工作。实验环境为ustc的vlab虚拟机。
vllm部署大模型 ray
04-01
<think>嗯，用户想了解如何使用Ray来部署VLLM大模型，需要教程或指南。首先，我应该回顾一下Ray和VLLM的基本概念。Ray是一个分布式计算框架，适合处理大规模机器学习任务，而VLLM是专注于高效推理和部署大语言模型的开源库，支持高吞吐量和低延迟。 接下来，我需要确定两者的结合点。VLLM本身可能有分布式部署的需求，而Ray的分布式能力可以在这里发挥作用。比如，Ray可以管理集群资源，调度多个VLLM实例，或者处理并发的推理请求。可能需要通过Ray Serve来部署VLLM模型，因为Ray Serve是Ray的模型部署框架。 然后，思考具体的步骤。首先安装必要的库，比如ray和vllm。然后编写部署代码，可能包括启动Ray集群，定义部署类，使用Ray Serve的部署装饰器。需要处理模型加载和请求批处理。此外，配置部分需要注意，比如tensor并行度，这可能涉及到Ray的资源配置参数。 还要考虑性能优化，比如批处理大小、GPU资源分配，以及Ray的自动扩缩容功能。用户可能想知道如何调整这些参数来提高吞吐量或减少延迟。同时，错误处理和日志记录也是部署中需要注意的部分。 用户可能需要示例代码，这样他们可以有一个具体的参考。需要确保代码正确使用Ray Serve和VLLM的API，例如正确初始化模型实例，处理推理请求的方法。同时，要提到如何发送请求到部署好的端点，比如使用Python的requests库或者Ray的客户端API。 另外，用户的问题可能涉及分布式环境中的常见问题，比如网络延迟、资源竞争，或者模型分片。需要解释VLLM如何利用Ray进行分布式推理，例如通过Tensor Parallelism将模型的不同层分配到不同节点上，这可能需要Ray的actor模型来实现。 最后，相关问题的部分需要考虑用户可能进一步想知道的内容，比如性能调优、扩展集群规模、监控部署状态，或者如何处理高并发请求。这些都需要在回答中预见到，并生成相应的问题，帮助用户深入理解整个部署流程。</think>### 使用Ray部署VLLM大模型的步骤指南 #### 1. 核心组件说明 - **Ray**: 分布式计算框架，支持任务调度、资源管理和分布式训练/推理[^1] - **VLLM**: 大语言模型高效推理框架，支持PagedAttention和连续批处理技术 - **Ray Serve**: Ray的模型部署子系统，支持多模型、自动扩缩容和请求路由 #### 2. 部署流程 **步骤1：环境准备** ```bash pip install ray[serve] vllm ``` **步骤2：编写部署脚本** ```python # deploy_vllm_with_ray.py import ray from ray import serve from vllm import SamplingParams @serve.deployment(num_replicas=2, ray_actor_options={"num_gpus": 4}) class VLLMDeployment: def __init__(self): from vllm import LLM self.llm = LLM( model="meta-llama/Llama-2-7b-chat-hf", tensor_parallel_degree=2 ) async def generate(self, request): sampling_params = SamplingParams( temperature=0.8, max_tokens=256, top_p=0.95 ) prompts = [request.query_params["prompt"]] outputs = self.llm.generate(prompts, sampling_params) return {"response": outputs[0].text} app = VLLMDeployment.bind() ``` **步骤3：启动Ray集群** ```bash ray start --head --num-gpus=8 ``` **步骤4：部署服务** ```python serve run deploy_vllm_with_ray:app ``` #### 3. 关键配置参数 | 参数 | 说明 | 示例值 | |------|------|-------| | num_replicas | 服务副本数 | 2 | | num_gpus | 单副本GPU数量 | 4 | | tensor_parallel_degree | 模型并行度 | 2 | | max_batch_size | 最大批处理量 | 32 | | batch_timeout | 批处理超时(秒) | 0.1 | #### 4. 发送推理请求 ```python import requests response = requests.post( "http://localhost:8000/generate", params={"prompt": "解释量子计算的原理"} ) print(response.json()["response"]) ``` #### 5. 性能优化建议 1. 使用Ray Dashboard监控GPU利用率 2. 调整`tensor_parallel_degree`匹配GPU数量 3. 通过`max_batch_size`平衡吞吐与延迟 4. 启用Ray Autoscaler自动扩展集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值