人工智能_大模型078_AI产品部署和交付08_基于VLLM部署大模型_FastAPI搭建API服务_VLLM分布式多卡推理_使用PostMan请求_VLLM源码部署---人工智能工作笔记0213

最新推荐文章于 2025-05-27 17:13:23 发布
最新推荐文章于 2025-05-27 17:13:23 发布
阅读量522 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 深度/机器学习&爬虫 文章标签： 人工智能 基于vllm部署大模型 VLLM部署安装 VLLM分布式推理 VLLM源码部署
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/139109286
本文介绍了如何使用VLLM进行大模型部署，通过FastAPI搭建API服务，实现基于浏览器和Postman的访问。讨论了VLLM的分布式多卡推理，利用Ray进行管理，并提供了安装和配置的详细步骤。此外，还提及了模型的源码部署和国内大模型的一致性接口设计。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一节我们部署了vllm,然后我们部署了以后,走到autoDL中,点击自定义服务,然后点击访问

就可以在浏览器中进行访问vllm了

 

然后同时我们还可以在命令行中进行使用

#### 运行命令

```bash
python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/Yi-6B-Chat --trust-remote-code --port 6006
```

```bash
curl https://u202774-8479-111790f4.westb.seetacloud.com:8443/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/root/autodl-tmp/Yi-6B-Chat",
        "max_tokens":60,
        "messages": [
            {
                "role": "us
了解本专栏 订阅专栏 解锁全文 超级会员免费看
vllm推理服务兼容openai服务API
洛阳泰山的博客
03-24 5414
vLLM 提供了一个实现了 OpenAI 的 Completions 和 Chat API 的 HTTP 服务器。要调用服务器，您可以使用官方的 OpenAI Python 客户端库或其他任何 HTTP 客户端。
vLLM命令行使用方法详解
NLP与推荐算法
03-27 1054
建议根据硬件配置（GPU 型号、显存大小）逐步优化关键参数（如批处理大小和显存利用率）。vLLM 是一个针对大语言模型（LLMs）优化的高效推理和服务库。生成的最大 token 数量（上下文长度 + 生成长度需小于模型限制）。输入文件路径，支持格式：每行一个提示文本，或 JSON 列表（如。GPU 显存利用率（0~1，默认 0.9，调整以避免 OOM）。GPU 张量并行数量（多卡推理时设置为 GPU 数量）。加载需要自定义代码的模型（如某些社区模型）。生成随机性（0=确定性，1=高随机）。
vllm 部署 qwen2.5 报错2.5 报错404 已解决
weixin_43988131的博客
02-08 1269
vllm启动千问推理服务报错404 研究发现应该调用的url和qwen2不同以下列举三种qwen2.5推理服务调用命令 实测有效。
vLLM+DeepSeek本地部署大模型终极指南：细节详尽，轻松实现高效部署！
2401_85343303的博客
05-12 1786
自从DeepSeek火遍大江南北，人人都在使用大模型，也有很多同志在像晓智同学一样，开始私有化部署。当然选择私有化部署使用最多的是ollama部署，但是对于并发相对高的场景，vllm是非常不错的选择。现就将晓智同学一步步部署并成功上线实施的方案分享如下：一、环境构建1、安装ubuntu24.04操作系统，并安装对应的基础软件，比如输入法等（可以不安装）。2、安装显卡驱动检查显卡驱动是否已经识别，如果已经识别，则不需要安装：以下表示已经识别nouveau添加以下内容二、安装 vLLM 和相关依赖。
使用vllm部署ChatGLM2并提供兼容 OpenAI 的 API Server实现异步访问
weixin_43278082的博客
12-12 9210
运行下面的命令，默认host为0.0.0.0，默认端口为8000，也可以通过--host --port指定。使用chatglm等模型时，请指定 --trust-remote-code参数。调用时可以用下面测试，注意model参数一定要传。SamplingParams 类中的说明。中的sampling_params。按照说明安装就可以了，不赘述。到vllm的GitHub仓库。其他更多的参数请参照。具体参数的含义请参照。
vllm的回复代码
qq_38148600的博客
07-01 498
【代码】vllm。【代码】vllm。【代码】vllm。【代码】vllm。
使用VLLM部署一系列大语言模型方案
knoka的博客
04-04 1247
轻量级本地化工具，专为个人开发者和小规模实验设计，主打快速部署和低资源占用核心优势wp:list一键安装，支持跨平台（Windows/macOS/Linux），无需编程基础即可使用;内置1700+预训练模型，自动下载int4量化版本，显存占用极低（如Qwen2.5-14B仅需11GB显存）;支持CPU/GPU混合运行，空闲时自动释放显存，适合低配置设备（如16GB内存笔记本）;提供类ChatGPT的交互式命令行界面，适合快速测试和原型开发;
大模型推理：vllm多机多卡分布式本地部署
m0_74824755的博客
12-28 7931
我是一台机器启动了一个docker，将docker当作一个节点，在docker里面执行ray start --head --port=6379，将另一台机器的docker作为worker节点，并加入到ray cluster中，如果机器间的通信没有问题，worker节点在几秒内就能加入集群。值得注意的是多机多卡部署的推理框架，也适用于单机多卡，单机单卡，这里不过多赘述。确保head节点的IP与指定的通信网卡的IP一致，同时，检查/etc/hosts里面的IP对应的主机名与docker的主机名是一致的。
vLLM CPU和GPU模式署和推理 Qwen2 等大语言模型详细教程
老牛啊
08-11 4379
vLLM默认并不支持纯CPU模式部署和推理模式，老牛同学应网友要求，根据vLLM官网整理vLLM在CPU模式下如何部署和推理大语音模型，并以Qwen2为了进行验证和演示……
将本地LLM部署为OPENAI的API进行调用
xdg15294969271的博客
10-29 1712
接上一篇使用langgraph搭建agent。有一个问题是能不能用本地的llm来接入langgraph，这里先介绍一下把模型部署为OPENAI的API进行调用。
05-09 周四 vLLM的部署和实践
不当初
05-09 2285
GitHub项目官方网站上解释了Fast、和flexible and easy to use的原因。参考链接网页描述大模型推理加速工具：vLLM描述了安装，离线推理和在线服务的简单演示比HuggingFace快24倍！伯克利LLM推理系统开源碾压SOTA，GPU砍半描述了优点，并且有很多的图。【LLM】vLLM部署与int8量化-优快云博客。
4.9 实习日记
m0_52827625的博客
04-09 886
昨天已经把vllm.tar传到了10.20.25.250这台机器的/home/zhangzichao/docker_images下面，使用下面的命令构建镜像加载好镜像之后，采用下面的命令启动一个容器，用于部署vllm因为第一次在250这台服务器部署应用，所以在运行上面的命令之前，需要先使用查看本机没有被占用的端口，最后选定启动容器之后，直接从vscode中进入容器内部，实质上也是执行下面的命令然后启动vllm服务。
vllm 加速推理通义千问Qwen经验总结
u010899985的博客
12-21 8160
curl请求 curl http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen/Qwen-14B-Chat-Int4-hf", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0 }'解决方法：将序列中token按固定长度划分为多个块，并与系统内存进行映射，解决不连续填满问题。
从零部署Qwen大模型：vLLM实战指南
2401_84204207的博客
05-20 670
本文详细介绍了如何使用高性能推理引擎vLLM部署Qwen大模型，并提供了Python和Java两种语言的实现代码。首先，文章推荐了适合的硬件配置，包括GPU、CPU、内存等，并指导如何搭建vLLM推理环境，包括创建Python虚拟环境和安装vLLM引擎。接着，文章详细说明了如何下载Qwen模型并启动API服务，以及如何通过curl、Python和Java进行服务验证。最后，文章展示了如何实现基础对话功能，并提供了PostMan、Python和Java的调用示例。总结部分强调了环境准备、vLLM安装、大模型下
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2711
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
项目实训：AutoDL部署大模型并实现外部接口调用
m0_63155449的博客
06-23 4924
选择社区镜像，直接搜索langchainchatchat，立即创建。打开jupyterNotebook，并输入下面命令。可用postman测试，比如上传文件到知识库。拒绝访问，这里需要做端口映射，参照。1.注册AutoDL账号并充值。2.创建实例，这里选择4090。再次访问，可查看到接口文档。
深入解析vLLM：加速大模型推理的高效框架
秋声工作室
12-11 4620
vLLM简介vLLM是一个专为大型语言模型设计的加速推理框架。降低GPU资源消耗：通过更高效的资源管理减少VRAM占用。提升模型对话的并发量：允许更多的用户同时与模型交互，而不影响性能。Very Large Language Model Inference作为一个高效的推理框架，通过KV Cache和Page Attention等优化技术，显著降低了GPU资源消耗并提升了模型对话的并发量。希望本文能为你提供有价值的参考和启发，帮助你在实际项目中更好地应用vLLM。
vLLM OpenAI API Server 参数详解
m0_71265409的博客
05-27 2046
vLLM服务器提供了丰富的配置参数，主要包括服务器设置、模型加载、性能优化等方面。可通过vllm serve --help查看完整参数列表。针对DeepSeek-R1模型使用时可能出现的格式解析问题，可通过添加--enable-reasoning和--reasoning-parser deepseek_r1参数解决推理内容提取和标签泄露问题。
vllm 多卡部署
最新发布
06-03
### vLLM 多卡环境下的部署与分布式训练配置 vLLM 是一个用于大型语言模型推理和部署的高效库，支持多 GPU 环境下的部署。在多卡环境下部署 vLLM 需要对硬件资源进行合理分配，并调整相关参数以充分利用 GPU 的计算能力[^2]。 #### 1. 硬件资源分配 在多卡环境中，可以通过 `--tensor-parallel-size` 参数指定张量并行度，该参数决定了模型在多个 GPU 上的分布方式。例如，如果使用 4 块 GPU，则可以设置 `--tensor-parallel-size 4` 来实现张量并行化。此外，`--gpu-memory-utilization` 参数可以控制每个 GPU 的显存利用率，建议根据具体硬件配置调整该值以避免显存溢出。 ```bash python -m vllm.entrypoints.openai.api_server \ --model 'path/to/model' \ --served-model-name 'model_name' \ --host 0.0.0.0 \ --port 6006 \ --tensor-parallel-size 4 \ --gpu-memory-utilization 0.8 \ --dtype=half ``` #### 2. 数据类型优化 为了提高推理效率并减少显存占用，可以使用半精度浮点数（`--dtype=half`）进行推理。这种数据类型的优化对于大规模模型尤为重要，尤其是在多卡环境下[^2]。 #### 3. 分布式训练配置 虽然 vLLM 主要用于推理任务，但其底层技术也可以扩展到分布式训练场景中。结合 DeepSpeed 的功能模块，可以进一步提升训练效率。DeepSpeed 提供了模型并行化、梯度累积等技术手段，适用于大规模模型的分布式训练[^1]。以下是一个基于 DeepSpeed 的分布式训练配置示例： ```yaml # deepspeed_config.json { "train_batch_size": 32, "gradient_accumulation_steps": 4, "fp16": { "enabled": true }, "zero_optimization": { "stage": 2 }, "optimizer": { "type": "AdamW", "params": { "lr": 5e-5, "betas": [0.9, 0.999], "eps": 1e-8 } } } ``` 运行分布式训练时，可以使用以下命令启动训练脚本： ```bash deepspeed train.py --deepspeed deepspeed_config.json ``` #### 4. 在 Google Colab 中利用免费 GPU 如果需要在云端环境中测试多卡部署，可以使用 Google Colab 提供的 T4 GPU 资源。尽管 Colab 通常仅提供单块 GPU，但通过连接多个 Colab 实例或使用更高级的云服务（如 AWS、GCP），可以模拟多卡环境[^3]。 ```bash # 在 Colab 中安装 vLLM !pip install vllm # 启动 vLLM 推理服务 !python -m vllm.entrypoints.openai.api_server \ --model 'path/to/model' \ --served-model-name 'model_name' \ --host 0.0.0.0 \ --port 6006 \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --dtype=half ``` #### 注意事项 - 确保所有 GPU 的驱动程序和 CUDA 版本兼容。 - 在多卡环境中，需合理分配网络带宽以避免通信瓶颈。 - 使用 `--dtype=half` 时，需确认模型支持半精度推理。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值