vllm的部署和使用

原创 2025-01-03 11:34:54 1.4k 阅读 AI写同款

171粉丝207篇原创

关注

部署TTS模型CosyVoice，开放API服务 CosyVoice是由阿里 FunAudioLLM 团队开发的开源语音生成大模型（text-to-speech TTS），输入通常是需转换为语音的文本或包含文本等的指令数据，输出则是将文本转换后对应的语音音频数据。目前开源版本到CosyVoice 2.0。3.0目前在研。本文介绍使用vllm和FastAPI部署CosyVoice，开放API服务。阅读详情

AI摘要

博客介绍了使用conda和pip搭建vllm相关环境的步骤，包括创建conda环境、安装gcc、ninja、torch及相关库，还安装了vllm、transformers和modelscope。同时给出了Qwen2.5模型的下载代码示例，最后提供了vllm中文文档链接。

conda create -n cosyvoice python=3.10.9 cudnn=9.1.1.17 nvidia/label/cuda-12.1.1::cuda-toolkit ffmpeg x264

conda install -c conda-forge gcc_linux-64=12

pip install ninja

pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121

pip install vllm==0.6.6 transformers==4.46 modelscope==1.20.1

qwen2.5模型下载

from modelscope import snapshot_download

# Downloading model checkpoint to a local dir model_dir
# model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')
# model_dir = snapshot_download('Qwen/Qwen2.5-7B-Instruct')
# model_dir = snapshot_download('Qwen/Qwen2.5-32B-Instruct')
# model_dir = snapshot_download('Qwen/Qwen2.5-72B-Instruct')
model_dir = snapshot_download('Qwen/Qwen2.5-1.5B-Instruct')

vllm中文文档：https://vllm.hyper.ai/

标签

#vllm