vllm部署QwQ-32B不输出＜think＞

原创 已于 2025-03-08 09:27:38 修改 · 4.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai

于 2025-03-08 09:23:19 首次发布
部署运行你感兴趣的模型镜像

这个问题我在vllm上部署deepseek时就遇到过，解决办法一样，找到模型文件目录中的tokenizer_config.json，把里面think删掉就可以了

修改前：

在这里插入图片描述

修改后：

在这里插入图片描述

效果：

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Vllm-v0.11.0

Vllm-v0.11.0

Vllm

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值

vLLM专题（十二）-推理输出（Reasoning Outputs）
02-24 1681
vLLM 支持推理模型，例如 DeepSeek R1，这些模型旨在生成包含推理步骤和最终结论的输出。推理模型在其输出中返回一个额外的字段，该字段包含导致最终结论的推理步骤。其他模型的输出中不存在此字段。
QwQ-32B：拥抱推理与批判性思维的力量
YBYB_1234的博客
03-14 1141
QwQ是Qwen系列中的一员，它专注于推理能力的提升，尤其擅长处理涉及复杂问题解决的下游任务。QwQ-32B是该系列的一款中型模型，采用了最新的Qwen2.5架构，相较于其他主流推理模型如DeepSeek-R1和o1-mini，QwQ-32B在性能上具有强大的竞争力。QwQ-32B代表了推理模型的一大进步，它的应用不仅限于推理任务本身，还涵盖了各种实际问题的解决方案。通过合理的配置和使用，QwQ-32B可以在多个领域中展现其强大的推理能力，为您的项目提供强有力的技术支持。
【大模型实战篇】解决QwQ-32B推理模型输出结果不带＜think＞的问题
源泉的小广场
04-23 1312
<think>丢失、<think>标签、qwq32b、推理模型、think缺失、vllm、推理模型部署、推理结果格式、qwq模型、
用SGLang部署的DeepSeek R1推理时没有输出＜think＞标签
不负热爱
02-27 3982
DeepSeek R1推理时开头没有输出<think>标签
✨如何在 vLLM 中取消 Qwen3 的 Thinking 模式
最新发布
用大模型重构生活：猫奴程序员的AI智能日常记录
05-12 2万+
/think>I am ...在某些场景下，你可能希望跳过这部分内容，直接获取模型的输出结果。以下将介绍两种实现方式。方法实现方式优点缺点方法一设置完全跳过 Thinking 提示需要修改代码方法二在输入末尾添加/no_think实现简单仍输出 Thinking token希望这篇文章能帮助你更好地理解 Qwen3 在 vLLM 中的使用方式。如果你还有更多关于 Qwen3、vLLM 或大模型部署的问题，欢迎留言交流！
关于deepseek，千问qwq32B等大模型没有开始＜think＞问题的解决方案！
ssp584731180的博客
03-12 1857
【代码】关于deepseek，千问qwq32B等大模型没有开始<think>问题的解决方案！
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 2119
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
vllm部署qwq-32b模型
03-20
</think>### 分步教程：使用vLLM部署QwQ-32B模型 #### 一、环境准备 1. 安装CUDA驱动 确保显卡驱动支持CUDA 11.8+，通过命令验证： ```bash nvidia-smi ``` 2. 创建虚拟环境（推荐） ```bash conda create -n vllm...
vLLM + QwQ-32B-4bit 私有化部署
03-15
<think>好的，用户想了解如何在本地服务器上私有化部署vLLM和QwQ-32B-4bit模型。首先，我需要回忆vLLM的基本部署流程。vLLM是一个高效的推理框架，支持大模型的部署，通常需要安装Python包，配置环境，加载模型。...
vllm 运行 qwq-32b
03-12
<think>好的，我现在需要帮助用户解决如何使用vLLM运行QwQ-32B模型的问题。首先，我需要确认用户提到的模型名称是否正确。用户写的是“qwq-32b”，但根据提供的引用，正确的模型名称应该是Qwen2.5-Coder-32B-...
QwQ-32B大模型本地部署全攻略：推理能力爆表，消费级GPU也能轻松玩转！
数据与算法架构提升之路专栏
03-13 2145
QwQ-32B是来自Qwen的一个320亿参数的推理模型，擅长复杂问题求解。数学推理玩井字棋等游戏利用推理能力解决复杂问题生成具有真实物理模拟的代码可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。
vllm部署QwQ32B(Q4_K_M)
hbkybkzw的博客
03-17 3252
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
vllm部署QwQ32B(满精度)
hbkybkzw的博客
03-24 3781
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
实战 - vLLM部署 QwQ-32B-AWQ [单卡4090]
AI工程化、开源分享、文档翻译、代码笔记
03-07 6102
运行服务 安装 vllm 下载模型 请求调用 curl - completions curl - chat/completions Python - completion Python - chat completion
vLLM + Open WebUI 本地部署 QwQ-32B 模型
weixin_51609751的博客
03-12 1589
QwQ 是 Qwen 系列的推理模型。与传统的指令调优模型相比，能够思考和推理的 QwQ 可以在下游任务中实现显着增强的性能，尤其是难题。QwQ-32B 是中型推理模型，能够实现与最先进的推理模型（如 DeepSeek-R1、o1-mini）相比的竞争性能。
解决deepseek r1模型输出＜think＞标记问题
jenken1209的博客
02-08 1万+
vllm一键解决<think>标记
【大模型实战篇】vllm本地部署阿里最新的QwQ-32B推理模型以及体验
源泉的小广场
03-06 8155
推理模型、千问推理模型、大模型、32B推理模型、强化学习、deepseek-r1、QwQ-32B
比肩满血DS，阿里开源 QwQ-32B 本地部署，Ollma/vLLM 实测对比，消费级显卡可跑，效果炸裂
u010522887的专栏
03-13 2954
本文带大家本地部署了最新开源的推理模型 `QwQ-32B`，并通过 Ollama/vLLM 进行了本地部署实测。
高效运行 QwQ-32B + 错误修复
AI工程化、开源分享、文档翻译、代码笔记
03-09 2354
我们的模型上传包含错误修复和对微调、vLLM 和 Transformers 的工作，但是如果你在使用 llama.cpp 以及作为后端使用 llama.cpp 的引擎，你可能已经遇到了问题。我们使用Alpaca数据集进行了测试，批大小为2，梯度累积步骤为4，排名=32，并在所有线性层（q, k, v, o, gate, up, down）上应用了QLoRA。要使用它，我们发现您还必须编辑 llama.cpp 中采样器的顺序，在应用重复惩罚之前，否则将会有无尽的生成。如果您只有 CPU 推理，也请将其删除。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值