【GPT入门】第40课 vllm与ollama特性对比，与模型部署

最新推荐文章于 2025-09-03 10:47:18 发布
原创 最新推荐文章于 2025-09-03 10:47:18 发布 · 445 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gpt

【GPT入门】第40课 vllm与ollama特性对比，与模型部署

1.两种部署

1.1 vllm与ollama特性对比

在这里插入图片描述
在这里插入图片描述

2. vllm部署

2.1 服务器准备

在autodl 等大模型服务器提供商，采购一个
在这里插入图片描述

2.1 下载模型

pip install modelscope
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local_dir /ai/data/DeepSeek-R1-Distill-Qwen-1.5B

2.2 提供模型服务

root@autodl-container-9f7a4caa9b-14e615df:~# python -m venv vllm
root@autodl-container-9f7a4caa9b-14e615df:~# source vllm/bin/activate
(vllm) root@autodl-container-9f7a4caa9b-14e615df:~# pip install vllm

vllm serve  /ai/data/DeepSeek-R1-Distill-Qwen-1.5B

在这里插入图片描述
在这里插入图片描述

开源模型应用落地-Meta-Llama-3.1-8B-Instruct与vllm-单机多卡-RTX 4090双卡（十四）
以微薄之力，予他人些许温暖.
08-09 3万+
4090单机双卡部署vllm，并集成meta-llama-3.1-8b-instruct
三步轻松上手：本地部署与运行大模型的详尽指南
Aweii__的博客
07-12 1019
在当前的技术环境下，大型语言模型（LLMs）已经成为人工智能领域的一个重要里程碑。这些模型能够在各种任务上展现出人类水平的性能，包括但不限于文本生成、语言理解和问题解答。随着开源项目的发展，个人开发者现在有机会在本地部署这些强大的模型，以探索和利用它们的潜力。本文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。
大模型推理框架：Ollama和vLLM到底应该选哪个？
2401_85375186的博客
12-30 4177
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。
ollama 支持并发之后和 vllm 相比性能如何？我们测测看
arkohut的博客
05-20 2万+
ollama 支持了并发之后其吞吐量有了不小的提升，不过这能打得过 vllm 吗？这里详细记录测试的环境搭建和脚本准备。
从Ollama到vLLM：大模型框架选择全攻略，小白到开发者必读
最新发布
2401_85373691的博客
09-03 1228
本文详细比较了Ollama和vLLM两种大模型框架，Ollama适合本地测试、原型开发和隐私敏感项目，vLLM则专为高吞吐量生产环境设计。文章分析了两者在速度、内存和可扩展性上的差异，提供了安装指南、故障排除、多GPU部署策略及安全考量。通过实际案例和性能对比，帮助开发者根据需求选择合适框架，实现从实验到生产的平稳过渡。
对 vllm 与 ollama 的一些研究
qianggezhishen的专栏
07-30 1万+
vLLM 是一个专为大模型推理优化的框架，旨在提高模型运行的效率和性能。它通过内存优化和推理加速技术，使得在资源有限的环境下也能高效运行大型语言模型。设计理念：vLLM 框架的设计注重于模型的可扩展性和灵活性，支持多种深度学习模型和推理任务，使其能够适应不同的应用场景。技术架构：vLLM 采用模块化设计，将模型推理过程分解为多个可替换的组件，如模型加载、数据预处理、推理执行等，便于开发者根据需求进行定制和优化。
最近，大模型岗位爆了。。。
qq_46094651的博客
02-16 573
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，
大模型部署Ollama和vLLM：Ollama是什么？vLLM是什么？ 分页注意力机制是什么？
star_nwe的博客
04-07 934
Ollama是一款专注于简化大型语言模型本地部署和运行的开源框架，基于Go语言实现，支持跨平台运行，并以“开箱即用”为核心理念，适合个人开发者和轻量化场景。而vLLM是一个高效的大模型推理与服务引擎，基于PyTorch构建，创新性地引入了PagedAttention技术，旨在解决大模型服务中的显存效率与吞吐量瓶颈，支持张量并行和流水线并行，可横向扩展至多机多卡集群。
零基础入门AI：一键本地运行各种开源大语言模型 - Ollama
2401_86435672的博客
09-09 1615
Ollama 是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46k star。不管是著名的羊驼系列，还是最新的AI新贵Mistral，等等各种开源大语言模型，都可以用Ollama实现一键安装并运行，支持的更多模型的列表可以查看Ollama官网。ModelParametersSizeDownloadLlama 27B3.8GBMistral7B4.1GB本文就让我们一起入门Ollama。
一文搞懂大模型！（非常详细）从入门到精通，基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
weixin_45607947的博客
07-19 2040
三金哥：这么一说，把LLM叫做自然语言处理工具可能没有那么准确，LLM 更多的是理解和生成文本。不过，从你的回答上，我在思考一个很重要的问题：对于 LLM 来说，生成具有语义和语法正确性的文本是不是还不太够，生成的文本和问题如何对应上的？比如有下面的问答：问题：2022年 NBA 总冠军是谁？回答：“我认为这个意大利面,就应该拌42号混凝土,因为这个螺丝钉的长度很容易影响到挖掘机的扭矩”单纯从语义和语法正确性貌似没有很大的问题，但是确并没有回答我的问题。
使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成（Neo4j）
mama19971023的博客
08-08 2724
我将向你展示如何使用（一个本地运行的模型）来执行操作，总共就50号代码。。。首先，什么是GraphRAG？GraphRAG是一种通过，关键概念是。▲ 知识图谱与向量数据库集成知识图谱与向量数据库集成是GraphRAG 架构之一：这种方法利用知识图谱和向量数据库来收集相关信息。知识图谱的构建方式可以捕获向量块之间的关系，包括文档层次结构。知识图谱在从向量搜索中检索到的块附近提供结构化实体信息，从而通过有价值的附加上下文丰富提示。这个丰富的提示被输入到 LLM 中进行处理，然后 LLM 生成响应。
本地部署运行大模型
2401_82469710的博客
04-19 2563
随着近两年大语言模型 (LLM) 的快速发展，人们的关注度和使用频率越来越高。然而，大多数 LLM 由大型科技公司掌控，并以云服务的形式提供，这限制了开发者和研究人员对其进行探索和定制的自由度。
一文搞懂大模型部署Ollama和vLLM
AAI666666的博客
05-10 1103
Ollama是一款专注于简化大型语言模型本地部署和运行的开源框架，基于Go语言实现，支持跨平台运行，并以“开箱即用”为核心理念，适合个人开发者和轻量化场景。
【AI大模型部署】Ollama与vLLM部署对比：哪个更合适？
datian1234的博客
12-09 2515
近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。
最强开源Qwen2.5：本地部署 Ollma/vLLM 实测对比，邀你围观体验
热门推荐
u010522887的专栏
09-24 5万+
本地部署大模型该用哪款框架？本文以 Qwen2.5 为例，实测了 Ollama/vLLM。综合来看，Ollma 在**存储、计算、效率**三方面，均完爆 vLLM。
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
2402_84466582的博客
07-29 1万+
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
【实战解析】Ollama与vLLM：大模型推理框架对比及最佳选择指南！
2401_85343303的博客
01-15 2679
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。Ollama：简单易用的LLM部署工具Ollama以安装简洁、易于使用著称，其官方文档清晰明了，新手也可快速上手。
Ollama vs vLLM 私有化部署终极对比：选型、实战与避坑指南
qq_46094651的博客
05-31 1235
在大语言模型技术快速迭代的浪潮中，数据安全与定制化需求推动着私有化部署成为企业和开发者的重要选择。Ollama 和 vLLM 作为两款备受关注的大语言模型部署和推理开源框架，各有千秋。接下来，我们将从多个关键维度对二者进行深度剖析，为你的私有化部署选型提供全面参考，并分享实用的实战经验与避坑技巧。
【AI部署】Ollama与vLLM深度对比：大模型部署框架的技术演进与实践指南
Arbboter的专栏
03-23 2334
在人工智能技术快速发展的当下，大语言模型（LLM）的本地化部署与生产级应用已成为开发者关注的焦点。Ollama和vLLM作为两大主流框架，分别代表了轻量化部署与高性能推理的技术路线。本文将从技术架构、性能指标、适用场景等维度展开系统性对比，为开发者提供框架选型与落地实践的全面参考。
PagedAttention(vLLM):更快地推理你的GPT
asd8705的专栏
07-02 653
生成式大模型改变了我们在各个行业中应用人工智能的方式。然而，由于模型参数量巨大，为这些模型提供实际服务带来了挑战，即使在昂贵的硬件上，，这令人感到沮丧。😓近日，来自UC Berkeley的团队推出了一个用于加速LLM推理的开源库vLLM，这也是Vicuna在线推理服务的幕后英雄。利用技术，该库通过有效地管理模块中的和的，重新定义了LLM的推理服务。无需更改任何模型架构，它的吞吐量比原生HF Transformers高出。🚀接下来我们将对这个工作进行一个简单的解读。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值