开源顶流集结！QwQ-32B 解锁多元玩法，OpenManus 低成本构建 AI 智能体！vLLM v1 赋能高效模型推理

最新推荐文章于 2025-03-17 20:31:03 发布
最新推荐文章于 2025-03-17 20:31:03 发布
阅读量1k 收藏 14
点赞数 24
分类专栏： 每周编辑精选 文章标签： 人工智能 深度学习 数据集 vLLM Manus QwQ-32B Agent
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HyperAI/article/details/146259504
版权

在人工智能领域持续突破的浪潮中，Qwen 团队最新发布的模型 QwQ-32B，以 320 亿参数规模，再次刷新行业对开源大模型的认知。该模型在代码生成、多轮对话等任务中展现出了卓越的表现，推理能力更是比肩满血版 DeepSeek-R1。

此前不久，专为大模型加速推理的 vLLM 核心架构迎来重大更新。 其通过优化执行循环、统一调度器和零开销前缀缓存等技术，在吞吐量和延迟上实现了高达 1.7 倍的性能提升，使 QwQ-32B 在双卡 A6000 显卡上即可实现高效部署。

而在 AI Agent 领域，OpenManus 自推出以来势头迅猛，这个被称为「Manus 平替」的开源项目，不仅以技术复现回应了外界对封闭生态的质疑，更以模块化设计和工具链整合，为开发者提供了低成本构建智能体的「万能钥匙」。

目前，HyperAI超神经分别上线了「使用 vLLM 部署 QwQ-32B」和「OpenManus + QwQ-32B 实现 AI Agent」2 个教程，快来试试吧~

使用 vLLM 部署 QwQ-32B

在线使用：https://go.hyper.ai/8nPfC

OpenManus + QwQ-32B 实现 AI Agent

在线使用：https://go.hyper.ai/GIX1H

3 月 10 日-3 月 15 日，hyper.ai 官网更新速览：

  • 优质公共数据集：10 个

  • 优质教程精选：4 个

  • 社区文章精选：6 篇

  • 热门百科词条：5 条

  • 3 月截稿顶会：4 个

访问官网：hyper.ai

公共数据集精选

1. Big-Math 强化学习数学数据集

Big-Math 是一个大规模、高质量的数学数据集，专为强化学习 (Reinforcement Learning, RL) 在语言模型中的应用而设计，数据集包含超过 250k 个高质量数学问题，每个问题都配有可验证的答案。

直接使用：https://go.hyper.ai/qtlbQ

在这里插入图片描述

数据集示例

2. JMED 中文真实医疗数据数据集

JMED 数据集是一个基于真实世界医疗数据分布的新型数据集。该数据集源自京东健康互联网医院的匿名医患对话，经过过滤以保留遵循标准化诊断工作流程的咨询。

直接使用：https://go.hyper.ai/FjZsa

在这里插入图片描述

数据集构建流程图

3. R1-Onevision 多模态推理数据集

R1-Onevision 数据集旨在赋予模型高级的多模态推理能力，它通过在自然场景、科学、数学问题、基于 OCR 的内容和复杂图表等多个领域的丰富、上下文感知的推理任务，弥合视觉和文本理解之间的差距。

直接使用：https://go.hyper.ai/jLbSI

在这里插入图片描述

数据集结构

4. NaturalReasoning 自然推理数据集

NaturalReasoning 数据集是一个大规模、高质量的推理数据集，它包含 280 万个挑战性问题，这些问题覆盖了多个领域，如 STEM 领域（例如物理、计算机科学）、经济学、社会科学等。该数据集旨在通过利用预训练语料库和大型语言模型 (LLMs) 来生成多样化且具有挑战性的推理问题及其参考答案，而无需额外的人工标注。

直接使用：https://go.hyper.ai/Mb6Cd

在这里插入图片描述

数据集构建示意图

5. AI-CUDA-Engineer-Archive 内核集合数据集

AI-CUDA-Engineer-Archive 数据集是一个由 AI 生成的 CUDA 内核集合，旨在促进开源模型的后续训练和开发更出色的 CUDA 功能模块。该数据集包含超过 3 万个 CUDA 内核，这些内核均由 AI 驱动的 CUDA 工程师生成，其中超过 1.7 万个内核已验证正确，约 50% 的内核性能优于 PyTorch 原生运行时间。

直接使用：https://go.hyper.ai/3lPrI

在这里插入图片描述

数据集示例

6. QM9 量子化学数据集

QM9 数据集该数据集是一个广泛使用的量子化学数据集，包含约 134k 个有机小分子的量子化学计算结果。这些分子由碳、氢、氮、氧和氟元素组成，且分子量不超过 900 道尔顿。

直接使用：https://go.hyper.ai/PZdz7

7. GEOM-Drugs 3D 分子构象数据集

GEOM-Drugs 数据集是一个大型的 3D 分子构象数据集，包含 43 万分子，每个分子平均有 44 个原子，经过数据处理后，每个分子最多可以包含 181 个原子。在实验中，研究者收集了每个分子对应的 30 个最低能量的构象，并要求每个基线方法生成这些分子的 3D 位置和组成原子的类型。

直接使用：https://go.hyper.ai/5B3U8

8. Fortune Telling 中文风水占卜数据集

数据集含 207 个关于风水、八字等问题，每个问题有唯一对应的答案。

直接使用：https://go.hyper.ai/31k1P

9.SuperGPQA 学科领域评估基准数据集

SuperGPQA 是一个用于评估高级问答系统性能的基准数据集，专注于自然语言处理和机器学习评估领域，旨在通过跨学科的复杂问题来测试模型的推理能力和知识水平。数据集涵盖了 285 个研究生级别的学科领域，问题类型多样，包括生物学、物理学、化学等多个科学领域。

直接使用：https://go.hyper.ai/oP1pb

10. olmOCR-mix-0225 大规模 PDF 文档数据集

olmOCR-mix-0225 是一个大规模、高质量的 PDF 文档数据集，专为训练和优化光学字符识别 (OCR) 模型而设计。数据集包含约 250k 页 的 PDF 内容，涵盖学术论文、法律文件、手册等多种类型。数据集不仅包含文本内容，还提取了每页中显著元素（如文本块和图像）的坐标信息，这些信息被动态注入模型提示 (Prompt)，显著减少了模型的幻觉。

直接使用：https://go.hyper.ai/dXNkk

公共教程精选

1. 一键部署 QwQ-32B-AWQ

QwQ-32B 是 Qwen 系列的推理模型，相比传统指令调优模型，QwQ 具备思考和推理能力，在下游任务尤其是难题上能取得显著性能提升，能够媲美 DeepSeek-R1、o1-mini 等先进推理模型。

该项目相关模型和依赖已经部署完毕，启动容器后点击 API 地址即可进入 Web 界面。

在线运行：https://go.hyper.ai/Q8HmJ

在这里插入图片描述

Demo 示例

2. 使用 vLLM 部署 QwQ-32B

vLLM 是一款专为高效部署大语言模型设计的开源推理框架，其核心技术通过优化内存管理与计算效率，显著降低了模型推理的硬件门槛。本教程使用 vLLM 部署 QwQ-32B 模型进一步降低了部署成本，满足更多交互场景需求。

该项目相关模型和依赖已经部署完毕，启动容器后点击 API 地址即可进入 Web 界面。

在线运行：https://go.hyper.ai/8nPfC

在这里插入图片描述

Demo 示例

3.OpenManus + QwQ-32B 实现 Al Agent

OpenManus 是由 MetaGPT 团队推出的开源项目，旨在复刻 Manus 的核心功能，为用户提供无需邀请码、可本地化部署的智能体解决方案。

进入官网克隆并启动容器，进入工作空间，输入相应的指令即可体验模型。

在线运行：https://go.hyper.ai/GIX1H

在这里插入图片描述

模型生成的小游戏

4.Step-Audio-TTS-3B 产品级方言语音生成模型

Step-Audio 是由 Stepfun-AI 团队于 2025 年开源的业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言生成（如中文、英文、日语），语音情感（如开心、悲伤），方言（如粤语、四川话），可控制语速及韵律风格，支持 RAP 和哼唱等。

进入官网克隆并启动容器，直接复制 API 地址，即可进行多功能语音合成。

在线运行：https://go.hyper.ai/WiyVK

在这里插入图片描述

语音合成示例

社区文章精选

1. 准确率达 97%，澳大利亚团队新成果基于深度学习凭颅骨 CT 鉴定性别，赶超人类法医

澳大利亚西澳大学等团队，提出了使用基于深度学习的自动化框架，该研究利用印度尼西亚一家医院的 200 次颅骨 CT 扫描，训练并测试了 3 种基于深度学习的网络配置，其中最准确的深度学习框架能够将性别和颅骨特征结合在一起进行判断，分类准确率可达 97%，显著高于人类观察者的 82%。本文是该论文的详细解读和分享。

查看完整报道：https://go.hyper.ai/0rfjM

2. 以 1.7K 深圳小区房价为例，浙大 GIS 实验室使用注意力机制挖掘地理情景特征，提升空间非平稳回归精度

浙江省 GIS 重点实验室的研究人员提出了一种基于注意力机制的深度学习模型 CatGWR。该模型通过引入注意力机制，将样本之间的空间距离和情境相似性相结合，从而更准确地估计空间非平稳性。这为地理空间建模提供了新的视角，尤其是在处理复杂地理现象时，能够更好地捕捉空间异质性和情境影响。本文是该研究的详细解读和分享。

查看完整报道：https://go.hyper.ai/irDAo

3. 覆盖数学/代码/科学/谜题，高质量推理数据集汇总，助力复现 DeepSeek 超强推理能力

HyperAI超神经精心整理了当前热度较高的推理数据集，涵盖数学、代码、科学、谜题等多个领域。对于期望切实提升大模型推理能力的从业者与研究者而言，这些数据集无疑是绝佳的起点。本文是数据集下载地址。

查看完整报道：https://go.hyper.ai/XGIi8

4. 入选 ICLR 2025！浙大沈春华等人提出玻尔兹曼对齐技术，蛋白质结合自由能预测达 SOTA

浙江大学等提出了一种名为玻尔兹曼对齐的技术，将知识从预训练的逆折叠模型迁移到了结合自由能的预测，该方法表现出了优越的水平，收录于人工智能领域国际学术顶会 ICLR 2025。本文是该论文的详细解读和分享。

查看完整报道：https://go.hyper.ai/MsUDj

5. 模型参数超 RFdiffusion 5倍！英伟达等发布 Proteina，从头设计蛋白质主链性能达 SOTA

英伟达联合麻省理工学院等，开发出了一种新型的大规模流式蛋白质主链生成器 Proteina。Proteina 的参数量是 RFdiffusion 模型的 5 倍，并将训练数据扩展到 2,100 万个合成蛋白质结构，在从头设计蛋白质主链方面的性能达到了 SOTA 级别，并以前所未有的长度——高达 800 个残基，生成了多样化且可设计的蛋白质，成果已入选 ICLR 2025 Oral。本文是该研究的详细解读和分享。

查看完整报道：https://go.hyper.ai/n4fWv

6. 政府工作报告再提「人工智能+」，科技大佬两会提案聚焦 AI+ 医疗/AI 换脸拟声/大模型幻觉……

雷军、周鸿祎、刘庆峰等业界大佬紧扣时代脉搏，在新能源汽车、大模型幻觉、AI 医疗、AI 换脸、AI 教育等多个关键领域积极提案建言。更多详情见下文。

查看完整报道：https://go.hyper.ai/EazuY

热门百科词条精选

1. DALL-E

2. 倒数排序融合 RRF

3. 帕累托前沿 Pareto Front

4. 大规模多任务语言理解 MMLU

5. 对比学习 Contrastive Learning

这里汇编了数百条 AI 相关词条，让你在这里读懂「人工智能」：

https://go.hyper.ai/wiki

在这里插入图片描述

一站式追踪人工智能学术顶会：https://go.hyper.ai/event

以上就是本周编辑精选的全部内容，如果你有想要收录 hyper.ai 官方网站的资源，也欢迎留言或投稿告诉我们哦！

下周再见！

数学推理过程中错误识别的基准测试：PROCESSBENCH介绍
12-28
研究对两种类型的模型（过程奖励模型.PRMs 和批评模型）进行了广泛评测，结果显示现有的 PRMs 在复杂问题上表现不佳，而通用语言模型如 QwQ-32B-Preview 表现出接近专有模型 GPT-4o 的能力。 适用人群：研究人员、...
小白也能轻松驾驭！一键安装QWQ+OpenManus，体验回答速度飞快的智能助手！
2401_84495872的博客
03-09 1037
不过有好些朋友反馈，看不懂。OpenManus毕竟是人家3小时搞出的项目，暂时还未支持docker一键部署，是用的原生python环境启动，确实对小白不太友好。以及有朋友咨询OpenManus是否可以接本地的QWQ。其实千问这个号称可以比肩满血R1的QWQ 32b，我前两天就想本地部署试试了，但即便QWQ 是32B，模型本身也才20G（比R1满血版小了20倍），我本地的8G显存还是完全不够看，告辞。
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2834
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
基于openmanus框架 接入qwq32b
陈锐的技术笔记
03-15 887
OpenManus 的智能体编排工具核心在于如何协调智能体、LLM 和工具完成任务。运行方式包括 python main.py 或 python run_flow.py（不稳定版），体现了其灵活的执行入口。
阿里发布推理模型QwQ-32B-Preview，性能超OpenAI o1-preview
bagell的博客
11-29 2447
今天，阿里巴巴的 Qwen 团队发布了其最新的推理模型 QwQ-32B-Preview。该模型拥有 325 亿参数，并能处理约 32,000 个 Token 的提示词。值得注意的是，它是首个可以在宽松许可下下载使用的模型。试用链接：https://huggingface.co/spaces/Qwen/QwQ-32B-preview根据官网介绍，QwQ-32B-Preview 是为数不多的可以与 OpenAI 的 o1 相媲美的模型之一。
在线教程 | OpenManus 与 QwQ-32B 强强联合，推理过程全透明
HyperAI超神经
03-12 801
当接到任务后，不同分工的 Agent 会紧密协作，从需求理解、规划制定到具体行动执行，全程公开透明化，过程中如何思考问题、怎样规划执行步骤，都能实时反馈给用户，让人们可以及时的干预，有助于模型更高质量的完成任务。更重要的是，我们还为大家准备了一份惊喜福利 —— 1 小时 4 卡 RTX A6000 免费使用时长（资源有效期 1 个月），新用户使用邀请码「OpenManus666」注册即可获取，仅有 10 个福利名额，先到先得！将时间拉回到 5 天前，3 月 6 日凌晨，不仅能构思，还能交付成果？
qwq-MFCLCD-master.zip
06-10
MFC是微软为Windows应用程序开发提供的一种C++类库，它封装了许多Windows API，使得程序员可以更方便地构建用户界面和应用程序逻辑。 在MFC中，通常我们会创建一个基于对话框的应用程序，其中对话框类会继承自...
deepseek-r1中文
03-04
例如，经过蒸馏的14B模型在测试中大幅超越了QwQ-32B-Preview模型。这一成就展示了大型基础模型在发现推理模式上的重要性，也说明了从大型模型中蒸馏出的模型在提升推理能力上的潜力。 研究者通过引入冷启动数据和多...
c++简单除法2-4！
05-22
与我的文章配套 输入两个整数，输出这两数之商
c++简单除法和取余数3-2！
05-23
与我的文章配套 输入两个整数，输出商和余数
没有 Manus 邀请码？Qwen + OpenManus 开源替代方案一样能领略 AI 智能体的力量
老牛啊
03-07 2228
OpenManus 出自 MetaGPT 团队成员开源的通用AI智能体框架，凭借 QwQ-32B 基座模型实现了接近商用级Manus的表现。本文详解其三大核心优势：1）本地执行代码/浏览器操作的真实环境交互能力 2）基于Python的轻量化部署方案 3）与千亿参数模型媲美的任务完成度。通过CRM企业分析案例实测对比，展示开源智能体如何突破商用产品限制，为开发者提供可落地的AI解决方案……
QwQ-32B 测评和使用教程来了！
z551646的博客
03-08 1912
昨天凌晨，阿里开源了全新的推理模型：QwQ-32B。据官方发布消息，该模型性能比肩满血版 DeepSeek-R1（671B）！可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。看到了这些消息后，我就开始上手深度测试。QwQ-32B开源链接：魔搭开源链接：https://modelscope.cn/models/Qwen/QwQ-32B。
重磅突破！QwQ-32B：用强化学习打造的AI推理黑科技
daiziguizhong的博客
03-07 510
QWQ-32B——一个新的里程碑
阿里深夜发布 QwQ-32B 模型：仅1/20参数就可媲美DeepSeek R1
优快云资讯
03-06 9670
近期的研究表明，强化学习可以显著提高模型的推理能力。例如，DeepSeek-R1 通过整合冷启动数据和多阶段训练，实现了最先进的性能，使其能够进行深度思考和复杂推理。阿里通义千问团队探讨了大规模强化学习（RL）对大语言模型的智能的提升作用，同时推出他们最新的推理模型 QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。这一成果突显了将强化学习应用于经过大规模预训练的强大基础模型的有效性。
国产AI卷疯了！Manus横空出世，阿里开源QwQ-32B！
musicml的博客
03-07 899
大家好，我是玄姐。AI 界的动态不断，昨夜，两项重大的 AI 进展引起了广泛关注：Manus：宣称是全球首个通用 AI Agent 的 Manus 惊艳亮相，其特色在于能自主执行复杂任务，如数据整理、行程规划等。这是否意味着 AI 助手正向智能代理大步迈进？QwQ-32B：阿里巴巴开源的32B参数模型，在多项基准测试中与 DeepSeek-R1 不相上下，但其参数量仅为后者的1/20。小型模型如何...
OpenManus介绍及本地部署体验
热门推荐
寸先生的AI道路
03-09 2万+
OpenManus，由 MetaGPT 团队精心打造的开源项目，于2025年3月发布。它致力于模仿并改进 Manus 这一封闭式商业 AI Agent 的核心功能，为用户提供无需邀请码、可本地化部署的智能体解决方案。换句话说，OpenManus 就像一位全能的数字助手，能够在你的本地设备上运行，随时听候差遣，完成各种复杂任务。它的出现，打破了技术领域的高墙，让每一位开发者都有机会站在同一起跑线上，快速实现诸如代码生成、数据分析、网络信息检索等复杂任务的自动化处理。
OpenManus安装详细操作步骤
xhttmq的博客
03-08 3039
‌ OpenManus‌是一个开源项目，由MetaGPT团队在3小时内复刻Manus项目而成，旨在提供一个无需邀请码即可使用的AI Agent平台。OpenManus不仅复刻了Manus的核心功能，还具备模块化Agent系统，开发者可以根据需求自由组合不同的功能模块，创造出符合自己需求的AI助手‌。
OpenManus+QwQ32B 本地部署
Python_cocola的博客
03-17 846
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。天道酬勤，你越努力，就会成为越优秀的自己。
通用型AI智能体Manus分析以及首个云平台自行搭建OpenManus
lovely_yoshino的博客
03-07 1万+
我们不难发现，Manus确实可以一次性完成其他AI需要很多次提示才能完成的操作，并且直接实现想法是其他AI难以企及的。但是所有展示的用例中，Manus最多只能完成编写HTML或者执行python这样的操作，说明通用型AI智能体还有相当大的扩展空间，而且可预见的，这样的通用型AI智能体会对服务器性能提出相当大的挑战。我们这里也提供了 Ollama 版本的QWQ深度思考 和 OpenManus结合的样本。现在，您可以开始构建自己的 LLM 应用程序，探索更多的可能性！
vLLM + Open WebUI QwQ-32B docker
最新发布
03-20
<think>好的，我现在需要帮助用户解决在Docker中部署和使用vLLM结合Open WebUI QwQ-32B模型的问题。首先，我需要确认用户提到的模型名称是否正确，用户写的是“QwQ-32B”，但根据提供的引用，正确的名称应该是“Qwen-32B”或“DeepSeek-R1-Distill-Qwen-32B”。可能是用户打错了，但需要先确认这一点。假设用户确实是指Qwen-32B，那么接下来需要结合引用中的信息来构建步骤。 根据引用[2]，vLLM可以无缝集成HuggingFace和Modelscope的模型，而引用[3]提到昇腾部署的DeepSeek-R1-Distill-Qwen-32B支持OpenAI-API。因此，用户可能希望使用Docker容器来部署vLLM服务，并通过Open WebUI与之交互。 首先，用户需要编写Dockerfile来构建包含vLLM和必要依赖的镜像。需要安装vLLM、PyTorch、CUDA等。然后，配置vLLM的服务，启动模型服务，如引用[1]和[3]中的命令，设置模型名称和API参数。接下来，部署Open WebUI，修改其配置文件指向vLLM的API地址，确保两者在同一个Docker网络中可以通信。最后，通过Docker Compose编排这两个服务，简化部署流程。 可能遇到的问题包括模型路径是否正确、端口映射是否冲突、依赖版本是否兼容等。需要提醒用户注意这些方面，并建议检查日志进行故障排除。此外，用户可能需要根据实际硬件调整启动参数，比如GPU支持和模型加载选项。 总结步骤：构建vLLM镜像，启动模型服务，部署Open WebUI，配置连接，最后测试。同时，生成相关问题，如性能优化、API认证、日志查看等，帮助用户进一步了解部署后的管理和使用。</think>### 在 Docker 中部署 vLLM 与 Open WebUI Qwen-32B 的步骤 #### 1. **准备 Docker 环境** - 安装 Docker 和 NVIDIA 容器工具（如需 GPU 支持）： ```bash # 安装 Docker curl -fsSL https://get.docker.com | bash # 安装 NVIDIA Container Toolkit distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list apt-get update && apt-get install -y nvidia-docker2 ``` #### 2. **构建 vLLM 服务镜像** - 创建 `Dockerfile.vllm`： ```dockerfile FROM nvidia/cuda:12.1.1-base-ubuntu22.04 RUN apt-get update && apt-get install -y python3-pip git RUN pip3 install vllm transformers torch EXPOSE 8000 CMD ["python3", "-m", "vllm.entrypoints.openai.api_server", "--model", "Qwen/Qwen-32B", "--served-model-name", "Qwen-32B", "--tensor-parallel-size", "4"] ``` - 构建镜像： ```bash docker build -t vllm-qwen -f Dockerfile.vllm . ``` #### 3. **启动 vLLM 服务容器** - 运行容器（假设使用 4 张 GPU）： ```bash docker run --gpus all -p 8000:8000 --name vllm_service vllm-qwen ``` - 验证服务： ```bash curl http://localhost:8000/v1/models ``` #### 4. **部署 Open WebUI** - 创建 `docker-compose.yml`： ```yaml version: '3' services: webui: image: ghcr.io/open-webui/open-webui:main ports: - "3000:8080" environment: - OPENAI_API_BASE_URL=http://vllm_service:8000/v1 - DEFAULT_MODEL=Qwen-32B depends_on: - vllm_service vllm_service: image: vllm-qwen ports: - "8000:8000" deploy: resources: reservations: devices: - driver: nvidia count: 4 capabilities: [gpu] ``` - 启动服务： ```bash docker-compose up -d ``` #### 5. **访问 Open WebUI** - 浏览器访问 `http://localhost:3000`，在设置中选择模型 `Qwen-32B` 并保存。 --- ### 关键配置说明 1. **vLLM 模型加载**：通过 `--model Qwen/Qwen-32B` 指定模型路径（需提前从 HuggingFace 或 ModelScope 下载）[^2]。 2. **GPU 资源配置**：`tensor-parallel-size` 需与实际 GPU 数量匹配[^3]。 3. **服务互联**：Docker Compose 中通过服务名 `vllm_service` 实现容器间通信，无需暴露端口到宿主机[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值