【自然语言处理与大模型】vLLM部署本地大模型①

已于 2025-04-26 03:49:22 修改
阅读量1.8k 收藏 17
点赞数 10
分类专栏： 【自然语言处理与大模型】 文章标签： 自然语言处理 人工智能
于 2024-12-18 23:59:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39780701/article/details/144571846
版权

        本文记录我个人在使用vllm部署私有大模型的时候遇到的困难和详细部署过程。一上来就先给出我测试部署成功的环境组合：

（2024年12月）python3.10 + torch2.5.1 + cuda12.4 + vllm0.6.5

一、环境准备

查看一下cuda版本：nvidia-smi

购买的服务器预装什么样的环境都无所谓，只需要cuda是12.4就行。

接下来用conda创建一个虚拟环境：选择Python3.10和torch2.5.1的cuda12.

最低0.47元/天 解锁文章
利用vLLM进行开源大模型本地部署（待继续刷新）
baidu_20834545的专栏
04-25 1635
通过vLLM本地部署开源大模型
本地部署Qwen2大模型之五：vLLM与大语言模型的关系
F8_11的博客
12-27 1081
经过几天的实践探索，对大语言模型（Qwen2）及其部署工具（vLLM）有了比较清晰的了解，这里做个简单的梳理，以作备忘吧。
Linux环境下使用vLLM部署本地大模型
剑飞的架构思维
02-07 6371
通过以上步骤，您可以在Linux环境下成功部署vLLM并运行大模型服务。在实际操作中，可能需要根据具体的vLLM版本和模型文件进行调整和优化。后续的步骤3和步骤4将依赖于该服务进行测试，因此请务必不要关闭此终端窗口。下载成功后，模型文件会保存在./model/qwen2_5-1_5b-instruct文件夹下。本课程实验环境需与微调章节保持一致，确保在GPU环境下执行模型部署操作。如果你希望在后台持续运行服务而不受终端窗口关闭的影响，可以使用这条命令。下载开源模型进行部署，暂不在此演示。
【自然语言处理与大模型】vLLM部署本地大模型②
最新发布
qq_39780701的博客
04-26 1553
vLLM部署本地大模型的常用功能：分布式部署和在线量化推理
vLLM部署本地大模型进行在线调用
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
11-22 4259
vLLM部署本地大模型进行在线调用
使用vllm部署自己的大模型
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
vLLM 部署本地大模型
Michael是个半路程序员
11-24 4518
是一个快速且易于使用的库，用于 LLM 推理和服务。如果不能连接 huggingface，设置。失业+面试中，今天学习一个新玩具。
vLLM 部署大模型
哦豁灬
04-04 2万+
vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。
大模型部署-基于vLLM部署通义千问Qwen大语言模型-附项目源码+流程教程-优质项目实战.zip
10-15
本项目文件专注于如何部署一款名为“通义千问Qwen”的大语言模型，该模型采用vLLM（Very Large Language Model，超大型语言模型）架构。通过这份资料，开发者能够获取到完整的项目源码、详细的部署流程以及相关教程...
本地大语言模型部署框架Ollama的详细介绍与应用
01-27
② 开发者希望通过简便的方法在本地快速部署并管理多种大型语言模型，用于自然语言处理的各种任务，如文本生成、智能问答和代码辅助。 其他说明：Ollama的出现极大地方便了开发者们进行研究与开发工作，降低了入门...
基于vLLM部署企业级DeepSeek大模型
秃了也弱了
03-07 2897
Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型（LLM）高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括：1、PagedAttention 技术：vLLM 引入了 PagedAttention 算法，通过分页管理注意力机制中的键（keys）和值（values），有效解决了传统方法中显存碎片化和过度预留的问题。
使用 vLLM 部署本地 LLM 指南
热门推荐
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
大模型实战教程 | 用vllm快速部署大模型
Code1994的博客
12-15 3630
在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。本文将指导您完成vLLM的安装、在服务器上运行它以及将其集成到应用程序中的步骤。
使用vllm本地部署deepseek大模型（企业级部署大模型）
m0_50641264的博客
03-07 1134
使用vllm企业级别部署deepseek大模型
【llm 使用vLLM部署本地大模型】
放飞自我的coder
12-25 3053
使用vLLM部署本地大模型 llm
大模型推理：vllm多机多卡分布式本地部署1
sunny0121的博客
07-09 2万+
ubuntu中采用docker和vllm进行多机多卡大模型本地部署
vllm 本地大模型加速推理
jieshenai的博客
04-11 3163
使用 modelscope 的 chatglm3-6B，调用 vllm 加速推理，推理速度快很多；我的显卡显存为 24G；chatglm3-6B，如果不用vllm，我的显存不够，必须使用half才能放进显存；使用 vllm 后，vllm 加载的大模型模型权重占用空间会小一点；不使用half，恰好能放进我的显存空间；
windows本地部署vllm,运行deepseek大模型
zxhy0123的博客
02-28 7284
windows本地部署vllm,加载大模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值