官方Qwen想入了思考死循环

原创 已于 2025-06-15 07:51:34 修改 · 345 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大语言模型 #人工智能

于 2025-06-15 07:48:25 首次发布
部署运行你感兴趣的模型镜像

今天因为要写标书，用官网的Qwen生成标书内容时，发现在思考阶段竟然陷入了“死循环”

貌似如果问题的答案比较简单，如果你要求大模型输出很长的字符比如3000，就会进行这种续写的死循环，大家引以为戒。

输出的结果中为了凑够字数，也可能会发生一样的情况，循环到凑够了字数就停止了。


输出的结果也可能会是这样，有点像我小学写作文 

您可能感兴趣的与本文相关的镜像

Qwen3-8B

Qwen3-8B

文本生成
Qwen3

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面取得了突破性进展

如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题
羊城迷鹿的博客
04-14 1339
Qwen2.5是阿里巴巴推出的一系列大语言模型，提供基础版本（base）和instruct版本（用于指令微调）。经过指令微调，能够更好地理解和响应自然语言指令，通常用于对话和任务执行。Qwen2.5（基础版本）则是未经指令微调的模型，适用于更灵活的生成任务，但也可能由于缺乏微调导致某些行为异常，比如本文探讨的无限循环问题。问题本质：微调后的Qwen2.5模型配置文件中设置错误，导致生成无法正常终止排查方法：检查原始token输出和比较模型配置文件解决方案：修改配置文件或在代码中动态设置正确的。
推理模型的temperature等参数设置的理论分析和实战设置
最新发布
herosunly的博客
12-24 427
本文主要介绍了推理模型的temperature等参数设置的理论分析和实战设置，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 深度解析：推理模型为何会陷入“思维鬼打墙” 2.1 机制一：“难学的正确动作”与“好学的撤回键” 2.2 机制二：错误的“时间相关性” 2.3 重要结论 3. 实战指南 3.1 Qwen3模型 3.1.1 Qwen3-30B-A3B-Instruct-2507 3.1.2 Qwen3-30B-A3B-Thinking-2507 3.2 DeepSeek V3.2
Qwen3模型思考出现不停重复循环？
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
06-02 2498
模型在生成内容时陷入重复循环思考，原因是提示词中存在"必须完整结构"与"无法提供内容"的矛盾指令。解决方案包括：1）允许保留结构但注明"数据不足"，明确禁止重复解释；2）在系统指令中限制递归推理深度。修改后的提示词应包含"若字段无数据，保留结构并单次说明原因"的指令，避免模型陷入逻辑死循环，确保输出合规且简洁的JSON格式。关键是通过解除指令冲突，引导模型在结构完整性和内容缺失之间找到平衡点。
【deepseek】（2）：使用3080Ti显卡，运行deepseek-coder-6.7b-instruct模型，因fastchat并没有说支持这个版本，或者模型有问题，出现死循环输出EOT问题
freewebsys的专栏
12-09 4275
总结，代码生成支持多个语言的生成，不知道是因为量化还是 fastchat的兼容问题。目前看 deepseek-coder-6.7b-instruct 会有死循环输出 的问题。因为启动的是 int8 量化版本，同时也不是fastchat官方说的兼容的33版本。后续再使用原版33B验证下。
一句话让DeepSeek思考停不下来，北大团队：这是针对AI的DDoS攻击
量子位
02-28 476
克雷西 发自 凹非寺量子位 | 公众号 QbitAI只要一句话，就能让DeepSeek陷入无限思考，根本停不下来？北大团队发现，输入一段看上去人畜无害的文字，R1就无法输出中止推理标记，然后一直输出不停。强行打断后观察已有的思考过程，还会发现R1在不断重复相同的话。而且这种现象还能随着蒸馏被传递，在用R1蒸馏的Qwen模型上也发现了同样的现象。7B和32B两个版本全都陷入了无尽循环，直到达到了设置...
QvQ - Qwen 的新视觉推理模型
晓的博客
12-25 1535
QVQ是阿里巴巴基于Qwen2-VL-72B构建的一款开源多模态推理模型。其核心目标是将视觉理解能力与复杂问题解决能力深度融合，以此提升人工智能系统的整体认知水平，推动人工智能向更智能、更全能的方向发展，使其能够在复杂场景下进行深度思考和推理，进而参与到各类科学探索活动中。
GPT 原理详解：大模型到底有没有智能？
weixin_49376454的博客
05-29 937
GPT 原理详解：大模型到底有没有智能？
赋能未来数学课堂——基于Qwen3、LangChain与Agent架构的个性化教辅系统研究
微学AI的博客
07-22 1919
本报告旨在深入研究基于新一代大规模语言模型Qwen3、开源应用框架LangChain以及Agent（智能体）思想构建的先进技术架构，在K12及以上数学教育领域的应用潜力、核心功能与实现路径。研究发现，该架构能够系统性地解决传统数学教学中的若干核心痛点，例如“一刀切”的教学进度、学生对解题过程理解的缺失、以及个性化辅导资源的稀缺。通过整合Qwen3强大的数学推理与长文本理解能力 LangChain灵活的工具调用与流程编排机制 以及Agent自主规划与执行的特性。
【LLM】大模型SFT技术总结（数据|训练|评估）
发现问题，并解决问题，批判性思维
11-04 6607
# 一、背景篇 ## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。 此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。 我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下
明星AI自动化测试工具Midscene.js源码解析
城下秋草‘s Blog
07-07 1577
在之前的文章 【UI自动化测试的革新，新一代AI工具MidScene.js实测！】我们了解了字节跳动推出的AI测试工具， 不管是智能解析项目，测试执行还是最后的报告生成都颇为亮眼，而且除了基于浏览器的web应用，还支持了Android应用的自动化。那么这个项目具体是如何利用 AI 智能完成测试执行任务的呢？本文我们就结合 Midscene.js 的开源项目源码，对该项目的实现，以及对大模型的应用进行深入分析。
Java+Python智能化网盘【Day9-2】
Java + Python 的选手，希望有大佬能带带萌新！【目前进度：学习AI应用开发中 目前目标：找到实习 目前阶段：大二暑期，过了暑假就是大三】
06-29 888
LangChain是官方出品的LLM应用开发调试与监控平台解决大模型应用开发中的调试困难、效果追踪、生产监控三大痛点核心功能说明调试与追踪记录智能体完整执行链路（LLM调用、工具调用、中间结果）可视化展示每一步输入输出和耗时统计成功率、延迟等关键指标生产监控实时监控API调用情况（如超时、错误响应）。分析用户高频请求和模型性能趋势LangChain提供的智能体执行引擎，封装了执行循环，错误处理和日志追踪，让开发者聚焦业务逻辑核心功能功能说明错误处理。
如今的Reasoning模型都不具备批判性思维！简单问题, Overthinking！离谱
zenRRan的博客
04-10 593
没想到，现实中的大模型竟也上演了类似剧情：当被问到“a的值是多少”这种无解问题时，某顶尖推理模型疯狂输出几千字“思考过程”，最后硬憋出个“2”……：当问题缺少关键信息时，LLM会进入“死循环思考”。（如DeepSeek-R1）：遇到陷阱题时，回答长度暴涨2-4倍，但正确率几乎为零。：把数学题的问题和题干对调（如“吃饼干”问题配“买铅笔”的提问）：直接问“ln(a+b)的值”（a、b未定义）：去掉必要条件（如删除“每周跑3次”中的次数）训练“质疑能力”：增加识别无效问题的专项训练。
Qwen3-1.7B-FP8错误处理：重复生成与异常情况解决
gitblog_00525的博客
08-30 885
在使用大语言模型时，重复生成（Repetition）是最常见且令人头疼的问题之一。当Qwen3-1.7B-FP8模型陷入重复循环时，不仅会消耗大量计算资源，还会严重影响生成内容的质量和可用性。本文将从技术角度深入分析重复生成的成因，并提供一套完整的解决方案。 ## 重复生成的类型与识别 ### 1. 词汇级重复（Word-level Repetition） ```python # 示例：词汇级...
VLLM+qwen批量推理重复输出的问题
qq_40684500的博客
05-28 1500
但是请注意，qwen系列模型在进行对话生成，批量推理时，对输入格式有明确的规范。它需要输入遵循特定的。
RoundedImageView测试策略：单元测试和UI测试的完整方案
gitblog_00064的博客
11-26 788
RoundedImageView是一个支持圆角、椭圆和圆形效果的快速ImageView组件，专为Android应用设计。本文将为开发者提供RoundedImageView测试策略的完整指南，帮助您构建可靠的测试体系。✨ ## 为什么需要专门的测试策略 RoundedImageView作为图像显示组件，其测试需要覆盖多种场景： - 不同圆角半径的渲染效果 - 边框宽度和颜色的正确显示 - 椭圆和
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 2127
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
全品类电商AI助手诞生，AI试衣+万饰穿戴+图生视频，覆盖全链路
Dreamshop_AI的博客
12-19 1704
DreamshopAI升级推出三大核心功能，全面革新电商视觉生产流程：AI试衣功能通过智能识别服装款式和材质，7-15天模特拍摄缩短至几分钟；万饰穿戴功能突破品类限制，精准还原珠宝、箱包等商品的材质细节；图生视频功能将静态图片转化为高质量短视频，大幅降低视频制作门槛。系统基于千万级电商数据训练，能自动适配不同市场需求，并推出AI试衣屏Dreamfit实现线上线下体验闭环。此次升级使AI成为电商运营的核心生产力工具，将传统视觉制作效率提升3倍以上，推动电商行业进入智能化新阶段。
[LLM]AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning
天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。
12-20 607
本文提出AIM框架，一种无需训练的多模态大语言模型(MLLMs)推理加速方法。通过双阶段设计：在LLM前基于相似度合并视觉Token，在LLM内基于注意力重要性剪枝Token，显著降低计算量。实验表明，该方法在视频理解任务中可减少6.8倍FLOPs，在图像任务中保持3.7倍加速的同时维持性能。关键发现包括：75%视觉Token冗余、LLM早期层侧重跨模态融合而后期侧重文本推理、跨帧合并会损害视频理解等。该方法支持动态调整压缩比例，为资源受限环境下的高效多模态推理提供了实用解决方案。
企业级 RAG 问答系统开发上线流程分析
hello！
12-22 1120
这个项目流程是一个非常典型的。
vllm serve qwen3 关闭思考
11-26
<think> 首先，用户的问题是关于如何在vllm部署Qwen3模型时关闭思考过程。用户引用了多个站内引用，主要包括： - [^1]：命令示例：`vllm serve /root/lanyun-tmp/modle/Qwen3-4B --chat-template /root/lanyun-tmp/modle/qwen3_nonthinking.jinja` - [^2]：Qwen3模型的介绍，提到了思考模式和非思考模式。 - [^3]：另一个命令示例：`vllm serve Qwen/Qwen3-4B-AWQ --port 8000 ... --enable-reasoning --reasoning-parser deepseek_r1` - [^4]：参考关闭思考过程：`vllm serve "unsloth/Qwen3-1.7B" --enable-lora ...`，但这里提到了启用LoRA，可能与关闭思考相关。 关键点是关闭思考模式。根据引用[^2]，Qwen3有思考模式和非思考模式，可以在两者之间切换。 用户的问题："我想查找在使用vllm对Qwen3进行服务时关闭思考的方法"，所以核心是回答如何在vllm中配置来关闭思考模式。 从引用中提取相关信息： - 引用[^1]：使用`--chat-template`参数指定一个模板文件`qwen3_nonthinking.jinja`，这很可能就是用于非思考模式的模板。 - 引用[^3]：使用`--enable-reasoning`参数，这看起来是启用推理的，可能是开启思考模式。那么关闭思考可能就是不要这个参数，或者指定非思考模式。 - 引用[^4]：提到了`--enable-lora`，但LoRA是低秩适配，可能与思考模式切换相关，但不直接。 在vLLM中，针对Qwen3，关闭思考模式通常是通过指定适当的聊天模板来实现的。因为Qwen3支持模式切换，通过模板来控制行为。 回答结构： 1. **理解问题**：确认用户的需求是关闭Qwen3的思考模式在vllm部署中。 2. **解决方法**：解释如何配置vllm命令来关闭思考模式。 - 从引用[^1]，使用`--chat-template`参数指定非思考模板。 - 可能还有其他参数，如避免启用推理。 3. **步骤指导**：提供清晰的命令示例。 4. **注意事项**：提醒用户确保模板文件正确。 5. **生成相关问题**：在最后添加相关问题，符合系统指令。 系统指令要求： - 所有行内数学表达式用`$...$`，但这里可能不涉及数学。 - 独立公式用`$$...$$`，但问题不涉及。 - LaTeX语法正确：N/A。 - 使用中文回答。 - 生成相关问题：在回答末尾添加相关问题。 - 回答结构清晰，帮助用户逐步解决问题。 - 在引用的段落末尾添加引用标识。 回答结构： - 开头：简要确认问题。 - 主体：逐步解释如何关闭思考模式。 - 结束：添加相关问题。 生成相关问题示例： 1. 如何启用思考模式在vllm部署Qwen3时？ 2. 什么是Qwen3的思考模式和非思考模式的区别？ 3. 如何自定义聊天模板来实现模式切换？ 引用标识：在引用信息后添加[^1], [^2], 等。 在回答中引用时，自然地添加。 最终回答： </think> 根据您的查询，您在vllm部署Qwen3模型时希望关闭“思考模式”（reasoning mode），以启用高效的“非思考模式”（non-thinking mode）。Qwen3模型支持在思考模式（用于复杂推理、数学和编码）和非思考模式（用于通用对话）之间无缝切换[^2]。在vllm中，关闭思考模式通常通过指定聊天模板文件来实现，因为模板定义了模型的交互行为，包括是否启用推理过程。以下是基于站内引用的详细解决方法，我将逐步指导您操作。 ### 步骤1: 理解关闭思考模式的原理 Qwen3的思考模式与非思考模式通过聊天模板控制。默认情况下，某些模板可能启用推理逻辑（如`--enable-reasoning`参数），而关闭思考模式需要指定一个“非思考”模板文件（例如`.jinja`文件），该模板省略了推理相关的提示词。关键点： - 避免使用`--enable-reasoning`参数：这会强制启用推理，与关闭思考冲突[^3]。 - 使用`--chat-template`参数指定非思考模板：例如`qwen3_nonthinking.jinja`文件，该模板文件定义了非思考模式的对话格式[^1]。 - 确保模板文件正确：模板文件需要与模型兼容，通常从Qwen3官方资源或预定义位置获取。 ### 步骤2: 配置vllm命令关闭思考模式 以下是关闭思考模式的标准命令示例。核心是使用`--chat-template`参数指向一个非思考模板文件，并避免任何推理相关的参数（如`--enable-reasoning`）。 ```bash vllm serve /path/to/Qwen3-4B \ --chat-template /path/to/qwen3_nonthinking.jinja \ --port 8000 \ --max-model-len 4096 ``` 参数解释： - `--chat-template /path/to/qwen3_nonthinking.jinja`：指定非思考模板文件路径。例如，在引用[^1]中使用了`/root/lanyun-tmp/modle/qwen3_nonthinking.jinja`，确保您有类似文件。如果没有，可以从Qwen3官方文档或社区资源下载。 - 避免添加`--enable-reasoning`或`--reasoning-parser`：这些参数会启用思考模式（如引用[^3]所示），在关闭思考时应省略。 - 其他参数（如`--port`、`--max-model-len`）是常规配置，不影响模式切换。 ### 步骤3: 验证和注意事项 - **验证模式是否关闭**：部署后，发送一个测试查询（如简单对话），观察响应是否快速且不包含推理步骤（例如，没有逐步推导的答案）。如果响应冗长且有逻辑步骤，表示思考模式未关闭。 - **模板文件来源**：如果您没有非思考模板文件，推荐从Qwen3官方GitHub仓库获取（如 Hugging Face Model Hub）。例如： - 下载模板：访问 https://huggingface.co/Qwen/Qwen3-4B 查找相关资源。 - 模板内容示例：一个基本的非思考模板可能类似： ```jinja {% if not add_generation_prompt %}{{ messages }}{% endif %} ``` 这确保模型直接输出响应，而不添加推理提示。 - **常见问题**： - 如果部署失败，检查模板文件路径是否正确，或使用`--debug`参数调试。 - 对于AWQ量化模型（如引用[^3]），命令相同，只需替换模型路径。 - 引用[^4]提到LoRA适配，但LoRA用于模型微调，一般不直接控制思考模式；专注于模板参数即可。 通过以上步骤，您可以成功关闭思考模式，优化部署性能[^1][^2]。如果您遇到问题，提供错误日志可进一步诊断。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值