vllm的部署和使用

原创 已于 2025-01-03 11:34:54 修改 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#vllm

于 2024-12-31 17:41:52 首次发布
部署运行你感兴趣的模型镜像

conda create -n cosyvoice python=3.10.9 cudnn=9.1.1.17 nvidia/label/cuda-12.1.1::cuda-toolkit ffmpeg x264

conda install -c conda-forge gcc_linux-64=12

pip install ninja

pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121

pip install vllm==0.6.6 transformers==4.46 modelscope==1.20.1 

qwen2.5模型下载

from modelscope import snapshot_download

# Downloading model checkpoint to a local dir model_dir
# model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')
# model_dir = snapshot_download('Qwen/Qwen2.5-7B-Instruct')
# model_dir = snapshot_download('Qwen/Qwen2.5-32B-Instruct')
# model_dir = snapshot_download('Qwen/Qwen2.5-72B-Instruct')
model_dir = snapshot_download('Qwen/Qwen2.5-1.5B-Instruct')
 

 vllm中文文档：https://vllm.hyper.ai/

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

CosyVoice2支持Nvidia 5090及vLLM加速
09-25 432
文章摘要： 本文介绍了在Nvidia 5090显卡上运行CosyVoice2并启用vLLM加速的方法。关键点包括：1）需安装torch 2.8.0+以支持sm_120架构；2）通过pip安装vLLM时需注意版本兼容性；3）提供完整的vLLM测试代码示例，包含音频处理和保存功能。测试代码展示了100轮语音合成任务的处理流程，支持零样本推理，并详细记录各环节耗时。文中特别强调驱动/CUDA版本匹配、半精度推理等优化事项，同时包含丰富的调试信息输出，帮助定位张量转换、音频保存等环节的潜在问题。
CosyVoice 本地部署详细教程 手把手小白教程
huazn612的博客
09-03 2万+
本文提供了详细的CosyVoice本地部署教程，强调了避免中文名称和空格的重要性，并列出了必要的软件安装步骤，包括CUDA、cuDNN、Git和Miniconda。教程涵盖了从检查CUDA版本到下载模型和运行模型的全过程，确保用户能够顺利部署并使用CosyVoice。
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 4万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
vLLM镜像下载渠道汇总：官网/Docker Hub/阿里云ACR
最新发布
weixin_30299319的博客
11-25 496
本文系统梳理vLLM推理框架的三大核心技术：PagedAttention、连续批处理和动态内存管理，并详细对比官网、Docker Hub和阿里云ACR三大镜像获取渠道，帮助开发者根据开发测试或生产部署需求选择最优方案，提升大模型推理效率。
【TTS回顾】CosyVoice 深度解析：基于LLM的TTS模型
kakaZhui的博客
05-22 1490
本篇博客我们回顾一下CosyVoice，文本转语音（TTS）技术正经历一场由大型语言模型（LLM）引领的深刻变革。我们不再满足于仅仅“听得清”，更追求合成语音能够像真人一样自然流畅、富有表现力，并且能够轻松实现零样本 (Zero-Shot)语音克隆，即用极少（甚至一段）目标说话人的音频就能合成其声音。传统的 TTS 模型，无论是基于参数合成还是拼接合成，在自然度和表现力上都存在瓶颈。
【LLM运用】在Ubuntu上Cosyvoice的部署
weixin_47665864的博客
02-06 1588
CosyVoice是阿里通义实验室一个开源的中文语音合成系统，基于深度学习技术，能够生成自然、流畅的中文语音。 本文将详细介绍如何在Ubuntu系统上部署和使用CosyVoice。CosyVoice是一个完整的端到端中文语音合成框架，具有以下特点： 基于深度学习的声学模型 支持多说话人合成 提供预训练模型 部署便捷，可用于实际应用场景 开源免费，支持二次开发 魔塔社区上有论文和demo等一些模型详细的东西 模型详情： 2.克隆代码仓库 如果网络慢或者直接用不了可以用国内的镜像安装 下一步： 安装相关依赖：
CosyVoice与VLLM集成：大语言模型加速语音生成的实践
gitblog_00768的博客
09-08 1055
你是否还在为TTS（Text-to-Speech，文本转语音）模型推理速度慢而烦恼？在实时语音交互、有声书生成、智能客服等场景中，语音合成的延迟直接影响用户体验。传统TTS模型往往面临两大痛点：长文本处理效率低下，以及高并发场景下的资源消耗过大。CosyVoice作为一款多语言语音生成模型，通过与VLLM（Very Large Language Model Serving Framework，超大...
精选资源
语音识别vLLM 部署 Whisper 语音识别模型指南
04-10
语音识别vLLM 部署 Whisper 语音识别模型指南
零基础实战：用 Docker 和 vLLM 本地部署 BGE-M3 文本嵌入模型.pdf
10-14
使用Docker可以提供容器化环境，解决依赖冲突和部署一致性问题，适合快速部署复杂模型。vLLM是一个高效推理框架，针对大型语言模型优化，支持高吞吐量推理和显存管理，能加速BGE-M3这类大规模模型的本地运行。本地...
精选资源
大模型部署-基于vLLM部署通义千问Qwen大语言模型-附项目源码+流程教程-优质项目实战.zip
10-15
“vLLM”揭示了使用的技术手段；“Qwen”指出了具体应用的技术或产品；“项目源码”说明了可以提供学习和修改的基础代码；“优质项目”则保证了项目的整体质量以及提供的内容是经过筛选和验证的。 本项目的实践内容...
精选资源
qwen2.5-7b vllm部署
11-15
1. vllm部署是指对vllm（Very Large Language Model）进行设置和启动的过程，这通常需要一系列特定的软件库和工具。qwen2.5-7b似乎是一个特定版本或特定环境下的vllm部署。 2. 依赖文件-vllm中的软件列表，涉及到了...
零基础实战：用 Docker 和 vLLM 本地部署 bge-reranker-v2-m3 重排序模型.pdf
10-14
vLLM是一个针对大型语言模型优化的高效推理框架，支持高吞吐量推理和显存管理，可加速大规模模型如bge-reranker-v2-m3的本地运行。 在本地运行模型的核心优势包括隐私保护，即数据无需上传云端，更适合敏感信息处理...
CosyVoice部署及部分问题解决
qq_46055249的博客
06-29 2786
本文是在2025.06.25日重新拉取的项目。
部署TTS模型CosyVoice，开放API服务
overwhelmed的博客
08-25 1327
CosyVoice是由阿里 FunAudioLLM 团队开发的开源语音生成大模型（text-to-speech TTS），输入通常是需转换为语音的文本或包含文本等的指令数据，输出则是将文本转换后对应的语音音频数据。目前开源版本到CosyVoice 2.0。3.0目前在研。本文介绍使用vllm和FastAPI部署CosyVoice，开放API服务。
【笔记】记录Docker部署CosyVoice
love530love的博客
04-12 4254
记录工作CosyVoice 是由 FunAudioLLM 团队开发的一个开源多语言大规模语音生成模型，提供了从推理、训练到部署的全栈解决方案。该项目目前从v1.0版本迭代到v2.0版本，但是在Windows中的部署多半情况下并不会顺利。等包，我分别通过python310、python311、python312三种虚拟环境部署，效果不是很满意，网络通畅的情况下不会遭遇一些奇怪的报错输出。
vLLM 部署本地大模型
Michael是个半路程序员
11-24 6080
是一个快速且易于使用的库，用于 LLM 推理和服务。如果不能连接 huggingface，设置。失业+面试中，今天学习一个新玩具。
阿里开源TTS CosyVoice 再升级！语音克隆玩出新花样，支持流式输出，本地部署实测
u010522887的专栏
01-03 1万+
最近看到阿里开源的 CosyVoice 又发布了重大更新。 今日分享，将介绍 CosyVoice 2.0，并带大家本地部署体验，为本地 TTS 选型提供参考。
【免费下载】 async_cosyvoice：加速LLM推理，提升语音合成效率
gitblog_01133的博客
04-01 1745
在现代语音合成领域，高效的推理过程至关重要。async_cosyvoice 项目正是一款专注于优化和加速语音合成推理的开源项目。基于 cosyvoice2，它通过集成 vllm 库，为 Linux 系统用户提供了一个强大的推理加速解决方案。该项目的主要目标是提升推理速度，降低响应时间，从而为用户提供更流畅、更自然的语音输出体验。 ## 项目技术分析 async_cosyvoice 采用了多项先...
vllm安装及总结
AI智能，无处不在
10-10 1万+
vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。
vllm部署和测试
11-20
<think> 我们参考了站内引用中关于vllm部署和测试的相关内容。根据引用[1]，vllm部署需要从基础环境搭建开始，包括Docker构建和运行容器，安装vllm库，以及启动API服务的详细步骤。引用[2]提到在部署模型前需要下载模型，并介绍了在国内使用魔搭社区下载模型的方法。引用[3]强调了部署后的连接性测试，以验证服务是否正常运行。引用[4]则给出了一个具体的单机多卡部署命令示例。 根据这些信息，我们将vllm的部署和测试方法整理如下： ### vllm部署方法 1. **环境准备**： - 确保系统已安装Docker（参考[^1]）。 - 安装vllm库：`pip install vllm`（引用[^1]）。 2. **模型下载**： - 使用魔搭社区（modelscope）搜索并下载所需模型（引用[^2]）。 - 示例：搜索`qwen3`，根据参数量、量化版本和提交者选择合适的模型。 3. **启动API服务**： - 单机单卡部署（默认）： ```bash python -m vllm.entrypoints.openai.api_server --model /path/to/model ``` - 单机多卡部署（如使用2张GPU）： ```bash CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server --model /path/to/model --tensor-parallel-size 2 ``` （引用[^4]） ### vllm测试方法 1. **连接性测试**（引用[^3]）： - 检查服务进程是否正常运行。 - 验证API端口（默认8000）是否暴露。 - 确认模型加载完成。 - 检查认证配置（如有）。 - 确保网络策略允许访问。 2. **API请求测试**： - 使用curl命令测试接口： ```bash curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "/path/to/model", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0 }' ``` - 预期返回包含生成文本的JSON响应。 3. **功能验证**： - 根据模型功能设计测试用例，例如文本生成、Embedding计算等。 - 验证生成结果是否符合预期。 §§相关问题§§ 1. 如何解决vllm部署中的端口冲突问题？ 2. 在vllm中如何加载多个模型？ 3. vllm支持哪些量化方法？ </think>根据引用内容，我将系统介绍vLLM的部署和测试方法，分为以下步骤： ### vLLM部署方法 1. **环境准备** 安装Docker环境（推荐）并配置NVIDIA驱动，确保GPU可用（引用[^1]）： ```bash # 安装vLLM核心库 pip install vllm ``` 2. **模型下载** 通过魔搭社区获取模型（引用[^2]）： ```bash # 示例：下载Qwen模型 modelscope download qwen/Qwen-7B-Chat ``` 3. **启动API服务** - 单卡部署： ```bash python -m vllm.entrypoints.openai.api_server --model ./qwen-7b-chat ``` - **多卡部署**（引用[^4]）： ```bash CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server \ --model ./deepseek_model \ --port 8000 \ --tensor-parallel-size 2 # 使用2张GPU ``` ### vLLM连接性测试 验证服务可用性（引用[^3]）： ```bash curl http://localhost:8000/v1/models # 预期返回：{"object":"list","data":[{"id":"model_name"}]} ``` ### 功能测试示例 1. **文本生成测试**： ```bash curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen-7b-chat", "prompt": "深圳的著名景点有", "max_tokens": 100 }' ``` 2. **Embedding测试**： ```bash curl http://localhost:8000/v1/embeddings \ -H "Content-Type: application/json" \ -d '{ "model": "embedding_model", "input": "自然语言处理" }' ``` ### 常见问题排查 | 问题现象 | 解决方案 | |---------|----------| | 端口无法访问 | 检查`--port`参数和防火墙设置 | | GPU未识别 | 验证`CUDA_VISIBLE_DEVICES`和设备驱动 | | 模型加载失败 | 检查模型路径和磁盘空间（引用[^3]） | | OOM错误 | 减少`--tensor-parallel-size`或使用量化模型 | > **部署建议**：生产环境推荐使用Docker容器化部署，可通过`docker run --gpus all -p 8000:8000 vllm/vllm-openai`快速启动（引用[^1]）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值