【GPT入门】第40课 vllm与ollama特性对比，与模型部署

于 2025-06-01 10:44:19 发布
阅读量376 收藏 1
点赞数 5
分类专栏： 大模型 文章标签： gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/spark_dev/article/details/148363877
版权

【GPT入门】第40课 vllm与ollama特性对比，与模型部署

1.两种部署

1.1 vllm与ollama特性对比

在这里插入图片描述
在这里插入图片描述

2. vllm部署

2.1 服务器准备

在autodl 等大模型服务器提供商，采购一个
在这里插入图片描述

2.1 下载模型

pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local_dir /ai/data/DeepSeek-R1-Distill-Qwen-1.5B

2.2 提供模型服务

root@autodl-container-9f7a4caa9b-14e615df:~# python -m venv vllm
root@autodl-container-9f7a4caa9b-14e615df:~# source vllm/bin/activate
(vllm) root@autodl-container-9f7a4caa9b-14e615df:~# pip install vllm

vllm serve  /ai/data/DeepSeek-R1-Distill-Qwen-1.5B

在这里插入图片描述
在这里插入图片描述

开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-09 3万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
QcloudCommunity的博客
07-18 1560
????目录1 LLM 基础知识2LLM 应用3LLM 的未来发展方向LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的 AI 爱好者，这篇文章都将为你提供宝贵的知识和启发，让你的 AI 之旅更加...
大模型推理框架：Ollama和vLLM到底应该选哪个？
2401_85375186的博客
12-30 4079
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。
一文搞懂大模型部署Ollama和vLLM
AAI666666的博客
05-10 763
Ollama是一款专注于简化大型语言模型本地部署和运行的开源框架，基于Go语言实现，支持跨平台运行，并以“开箱即用”为核心理念，适合个人开发者和轻量化场景。
ollama 支持并发之后和 vllm 相比性能如何？我们测测看
arkohut的博客
05-20 2万+
ollama 支持了并发之后其吞吐量有了不小的提升，不过这能打得过 vllm 吗？这里详细记录测试的环境搭建和脚本准备。
对 vllm 与 ollama 的一些研究
qianggezhishen的专栏
07-30 1万+
vLLM 是一个专为大模型推理优化的框架，旨在提高模型运行的效率和性能。它通过内存优化和推理加速技术，使得在资源有限的环境下也能高效运行大型语言模型。设计理念：vLLM 框架的设计注重于模型的可扩展性和灵活性，支持多种深度学习模型和推理任务，使其能够适应不同的应用场景。技术架构：vLLM 采用模块化设计，将模型推理过程分解为多个可替换的组件，如模型加载、数据预处理、推理执行等，便于开发者根据需求进行定制和优化。
本地部署运行大模型
2401_82469710的博客
04-19 2263
随着近两年大语言模型 (LLM) 的快速发展，人们的关注度和使用频率越来越高。然而，大多数 LLM 由大型科技公司掌控，并以云服务的形式提供，这限制了开发者和研究人员对其进行探索和定制的自由度。
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
2402_84466582的博客
07-29 9873
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
三步轻松上手：本地部署与运行大模型的详尽指南
Aweii__的博客
07-12 938
在当前的技术环境下，大型语言模型（LLMs）已经成为人工智能领域的一个重要里程碑。这些模型能够在各种任务上展现出人类水平的性能，包括但不限于文本生成、语言理解和问题解答。随着开源项目的发展，个人开发者现在有机会在本地部署这些强大的模型，以探索和利用它们的潜力。本文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。
零基础入门AI：一键本地运行各种开源大语言模型 - Ollama
2401_86435672的博客
09-09 1489
Ollama 是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46k star。不管是著名的羊驼系列，还是最新的AI新贵Mistral，等等各种开源大语言模型，都可以用Ollama实现一键安装并运行，支持的更多模型的列表可以查看Ollama官网。ModelParametersSizeDownloadLlama 27B3.8GBMistral7B4.1GB本文就让我们一起入门Ollama。
一文搞懂大模型！（非常详细）从入门到精通，基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
weixin_45607947的博客
07-19 1333
三金哥：这么一说，把LLM叫做自然语言处理工具可能没有那么准确，LLM 更多的是理解和生成文本。不过，从你的回答上，我在思考一个很重要的问题：对于 LLM 来说，生成具有语义和语法正确性的文本是不是还不太够，生成的文本和问题如何对应上的？比如有下面的问答：问题：2022年 NBA 总冠军是谁？回答：“我认为这个意大利面,就应该拌42号混凝土,因为这个螺丝钉的长度很容易影响到挖掘机的扭矩”单纯从语义和语法正确性貌似没有很大的问题，但是确并没有回答我的问题。
使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成（Neo4j）
mama19971023的博客
08-08 2512
我将向你展示如何使用（一个本地运行的模型）来执行操作，总共就50号代码。。。首先，什么是GraphRAG？GraphRAG是一种通过，关键概念是。▲ 知识图谱与向量数据库集成知识图谱与向量数据库集成是GraphRAG 架构之一：这种方法利用知识图谱和向量数据库来收集相关信息。知识图谱的构建方式可以捕获向量块之间的关系，包括文档层次结构。知识图谱在从向量搜索中检索到的块附近提供结构化实体信息，从而通过有价值的附加上下文丰富提示。这个丰富的提示被输入到 LLM 中进行处理，然后 LLM 生成响应。
最强开源Qwen2.5：本地部署 Ollma/vLLM 实测对比，邀你围观体验
热门推荐
u010522887的专栏
09-24 5万+
本地部署大模型该用哪款框架？本文以 Qwen2.5 为例，实测了 Ollama/vLLM。综合来看，Ollma 在**存储、计算、效率**三方面，均完爆 vLLM。
【实战解析】Ollama与vLLM：大模型推理框架对比及最佳选择指南！
2401_85343303的博客
01-15 2226
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。Ollama：简单易用的LLM部署工具Ollama以安装简洁、易于使用著称，其官方文档清晰明了，新手也可快速上手。
【AI大模型部署】Ollama与vLLM部署对比：哪个更合适？
datian1234的博客
12-09 2401
近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。
【AI部署】Ollama与vLLM深度对比：大模型部署框架的技术演进与实践指南
Arbboter的专栏
03-23 1443
在人工智能技术快速发展的当下，大语言模型（LLM）的本地化部署与生产级应用已成为开发者关注的焦点。Ollama和vLLM作为两大主流框架，分别代表了轻量化部署与高性能推理的技术路线。本文将从技术架构、性能指标、适用场景等维度展开系统性对比，为开发者提供框架选型与落地实践的全面参考。
vLLM 推理框架与Ollama对比、使用
分享不一样的技术，与你一起共同成长!
03-10 1436
如果生产环境，高并发、高流量，推荐使用vLLM并且搭配GPU使用。如果流量较低，并且资源有限，只能使用CPU进行推理，使用门槛低，可以推荐使用Ollama. Ollama可以快速进行搭建一个样例出来，提供给非技术人员，例如公司领导、运营或者产品人员进行演示，降低搭建成本...
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
vllm和ollama
最新发布
05-31
### VLLM 与 Ollama 的特性与性能比较 VLLM（Vector Large Language Models）和 Ollama 是两种不同的工具或框架，分别专注于大规模语言模型的推理优化和服务部署。以下是两者在特性与性能上的详细对比： #### 1. **架构设计** VLLM 是一个高效的开源库，用于加速大型语言模型的推理过程[^2]。它通过优化内存管理和并行计算，支持在单个 GPU 上运行多个大模型实例。相比之下，Ollama 是一个专为本地部署设计的工具，允许用户轻松下载、管理和运行多种预训练语言模型[^3]。 #### 2. **模型支持** VLLM 支持广泛的大型语言模型，包括但不限于 Llama 系列、GPT 系列等，并且能够动态调整推理参数以适应不同硬件配置[^4]。Ollama 则主要支持一组精选的模型，例如 Llama 和其他轻量级变体，专注于简化模型管理流程[^5]。 #### 3. **性能表现** VLLM 在推理速度和吞吐量方面表现出色，尤其适合需要高并发处理的应用场景。其多线程优化和批处理技术显著降低了延迟[^6]。Ollama 更注重用户体验和易用性，虽然其性能可能不如 VLLM 那样极致，但在资源受限的环境中仍能提供稳定的输出[^7]。 #### 4. **硬件需求** 由于 VLLM 的高性能目标，通常需要更强大的硬件支持，例如高端 GPU 或 TPU[^8]。而 Ollama 被设计为能够在普通消费级设备上运行，甚至支持 ARM 架构的处理器，如 Apple Silicon[^9]。 #### 5. **部署灵活性** VLLM 提供了丰富的 API 和可定制选项，适合开发者进行深度集成和二次开发[^10]。Ollama 则以简单易用为核心理念，提供了命令行界面和 RESTful API，方便非技术人员快速上手[^11]。 ```python # 示例：使用 VLLM 进行模型推理 from vllm import LLM, SamplingParams llm = LLM(model="meta-llama/Llama-2-7b") sampling_params = SamplingParams(temperature=0.8, top_p=0.95) outputs = llm.generate(["Hello, how are you?"], sampling_params=sampling_params) print(outputs[0].outputs[0].text) # 示例：使用 Ollama 进行模型推理 import subprocess response = subprocess.run( ["ollama", "run", "llama2", "Hello, how are you?"], capture_output=True, text=True ) print(response.stdout) ``` #### 6. **社区与支持** VLLM 拥有活跃的开源社区，定期更新文档和技术博客，帮助用户解决实际问题[^12]。Ollama 的社区规模相对较小，但其官方团队提供了详尽的教程和示例代码，降低了学习曲线[^13]。 ### 结论 总体而言，VLLM 更适合追求极致性能和灵活定制的开发者，而 Ollama 则是希望快速部署和测试模型的用户的理想选择。具体选用哪一种工具取决于项目需求、硬件条件以及团队的技术背景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值