Chain-of-Thought Reasoning without Prompting

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量221 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Causal and Reasoning 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139259420
研究发现，大型语言模型（LLM）无需手动提示就能进行链式思维（CoT）推理。通过改变解码过程，尤其是使用顶部-� 替代token，LLM自然产生CoT路径，这与更高的解码答案置信度相关。CoT解码方法在多个推理基准上提高了LLM的性能，但增加了计算成本。未来工作可能涉及微调模型和在解码阶段寻找最佳路径。

本文是LLM系列文章，针对《Chain-of-Thought Reasoning without Prompting》的翻译。

无提示的思维链推理

摘要

在增强大型语言模型（LLM）的推理能力方面，先前的研究主要集中在特定的提示技术上，如小样本或零样本思想链（CoT）提示。这些方法虽然有效，但通常涉及手动密集的提示工程。我们的研究采用了一种新颖的方法，提出了一个问题：LLM能在没有提示的情况下有效推理吗？我们的研究结果表明，有趣的是，通过简单地改变解码过程，可以从预训练的LLM中引出CoT推理路径。与传统的贪婪解码不同，我们研究了顶部-𝑘 替代token，揭示了CoT路径经常是这些序列中固有的。这种方法不仅绕过了提示的混杂因素，而且使我们能够评估LLM的内在推理能力。此外，我们观察到解码路径中CoT的存在与模型的解码答案的更高置信度相关。该置信度度量有效地区分了CoT路径和非CoT路径。对各种推理基准的广泛实证研究表明，所提出的CoT解码有效地从语言模型中激发了推理能力，而这些能力以前被标准的贪婪解码所掩盖。

1 引言

2 COT解码

3 实验

4 相关工作

5 结论和讨论

我们研究了语言模型在解码过程中生成CoT推理路径的固有能力，不需要任何专门的提示。我们的研究结果表明，与只使用贪婪解码的普遍做法相反，探索替代顶端-𝑘 解码空间中的token揭示了这些模型中推理路径的自然存在。此外，我们的经验观察结果强调，CoT推理路径的存在与解码其最终答案时模型置信度的增加相关。基于这一观察，我们引入了CoT解码，以从语言模型中提取更可靠的解码路径，从而提高

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] Chain-of-Thought Reasoning without Prompting
心宝的博客
09-26 470
模型首先识别出说话者有3个苹果，然后识别出爸爸比说话者多2个，即5个苹果，最后将这两个数量相加得到总数8个苹果。这个例子表明，通过探索替代的解码路径，我们可以从预训练的LLMs中提取出有用的推理链，即使没有明确的提示或问题构造。这个例子表明，通过探索替代的解码路径，我们可以从预训练的LLMs中提取出有用的推理链，即使没有明确的提示或问题构造。当然，以下是一个使用CoT（Chain-of-Thought）解码方式的例子，它展示了如何从预训练的大型语言模型（LLMs）中激发推理路径。
【文献笔记】Chain-of-thought reasoning without prompting
c769的博客
04-11 1038
【文献笔记】作者发现传统的贪心解码路径会生成错误的答案，但如果用top-k解码来生成第一个token，后续继续贪婪解码时，CoT会自然而然的出现；而且如果在解码过程中存在CoT路径，LLM也会对最终答案更有信心 利用这种现象，作者融合两种解码方式开发了一种方法，来筛选前k个解码路径，从而隔离出模型的输出中最可靠的路径，称之为CoT解码。
Chain-of-Thought Reasoning Without Prompting
步子哥的博客
02-19 1240
总的来说，这篇论文的核心贡献在于提出了一种新的视角来探索和利用LLMs的推理能力，即通过改变解码策略来自然地揭示模型的推理路径，而不是依赖于外部的提示或训练。分析了CoT-decoding在这些任务上的表现，并与现有的CoT提示方法（如few-shot CoT prompting和zero-shot CoT prompting）进行了比较。LLMs的内在推理能力如何评估？通过观察模型在解码过程中的CoT路径，研究者们提出了一种新的方法来评估LLMs的内在推理能力，这种方法避免了提示引入的混淆因素。
CoT-Decoding (Chain-of-Thought Reasoning without Prompting)
m0_73498751的博客
07-08 2135
这篇文章通过优化解码方法，提出了， 提高回答的准确性CoT-Decoding 类似做选择题时的排除法。
Deepmind最新研究：一个技巧，思维链不再需要提示词激发了！
夕小瑶科技说
02-26 942
总的来说，CoT-decoding为我们提供了一种新的视角，通过简单地改变解码策略，就能有效地激发出模型的推理能力，这一发现对于未来LLMs的研究和应用具有重要意义。CoT-decoding，即链式推理解码，是一种新颖的方法，它通过改变解码过程来从预训练的大语言模型（LLMs）中引出推理能力，而无需特定的提示技术。例如，在处理GSM8K数据集的数学问题时，CoT-decoding生成的CoT与few-shot CoT提示方法相比，展现出更自由形式的推理过程。值得注意的是，CoT-decoding甚至可以。
LLM论文笔记 25: Chain-of-Thought Reasoning without Prompting
m0_65305142的博客
03-16 494
注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。1. LLMs 不需要prompting就可以生成链式推理路径，prompting只是将这些能力显性化的一种手段。2. cot path 往往与更高的model confidence相关，可以用作可靠性的metric。3. 探索多样化的解码路径能有效挖掘模型的内在推理能力，而不仅仅依赖于模型规模或训练数据的多样性。模型未经过指令调优时的推理能力缺陷，并在指令调优的模型中。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models导读
qq_41527980的博客
01-26 1672
论文提出了一种简单而广泛适用的方法——链式思维提示（chain-of-thought prompting），用于增强大型语言模型的推理能力。通过实验证明，链式思维提示能够显著提高大型语言模型在算术、常识和符号推理等任务上的表现，并且比传统的提示方法具有更强的泛化能力和更小的数据需求。研究结果表明，链式思维提示是一种有效的工具，可以扩展大型语言模型的能力范围，进一步激发了使用自然语言处理技术解决复杂问题的研究方向。
【Chain-of-Thought 专题】Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
夏栀的博客
03-15 911
Chain of Thought（CoT）—— a series of intermediate reasoning steps—significantly improves the ability of large language models to perform complex reasoning.
一文读懂「Chain of Thought，CoT」思维链
顺其自然~专栏
10-08 2520
Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，对于复杂问题尤其是复杂的数学题大模型很难直接给出正确答案。如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。COT通过要求模型在输出最终答案之前，显式输出中间逐步的推理步骤这一方法来增强大模型的算数、常识和推理能力。简单，但有效。
“Chain of Thought Reasoning“ 和 “Chain Prompts“ 是什么
engchina的专栏
06-11 841
"Chain of Thought Reasoning" 和 "Chain Prompts" 是什么
当大模型预训练数据不再像以前增长，OpenAI o1应对机制的探索和理解
老皮的博客
01-02 1004
让我们回到文章开始的两个问题问1：更多的强化训练和以前RL HF（Reinforce learning from human feedback）有什么区别？答：以前RLHF主要关注的是偏好对齐，而现在， 我们假设，经由强化训练，能够将某些逻辑内化在模型内部。
不需要Prompt也能激发大模型思维链能力？谷歌DeepMind新作提出CoT新范式
qq_51957239的博客
11-10 1280
大型语言模型（LLM）在多种复杂推理基准测试中展示了卓越的表现。LLM的这些推理能力通常通过提示技巧引出，可以是通过包含中间步骤的少样例提示（few-shot prompting）进行示例增强，或是通过带有具体指令的零样例提示（zero-shot prompting），要求展示某些中间步骤。另一种常见的引出LLM推理能力的策略是通过使用大量的链式思维（CoT）推理数据进行模型训练或指令微调。提示技巧虽然有效，但通常会编码任务特定的人为先验，因而难以评估语言模型的内在推理能力。
论文：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models翻译笔记(链式思考、思维链)
weixin_56242678的博客
03-17 2048
论文：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models翻译笔记(链式思考、思维链)
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 216
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 371
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 596
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 242
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1829
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 488
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
prompt-optimizer
04-25
### Prompt Optimizer Tools and Techniques in AI or NLP Prompt optimization plays a critical role in enhancing the performance of large language models (LLMs) and natural language processing (NLP) systems. Below are some key methods and tools used for prompt optimization: #### 1. **Few-Shot Learning** In few-shot learning, the model is provided with a small number of examples within the prompt itself to guide its behavior[^1]. This approach leverages the inherent capabilities of pre-trained models to generalize from limited data. #### 2. **Chain-of-Thought Reasoning** This technique involves breaking down complex tasks into simpler subtasks that the model can reason about step-by-step[^3]. By structuring prompts to encourage sequential reasoning, better results can be achieved even without extensive retraining. #### 3. **Instruction Tuning** Instruction tuning focuses on adapting models to follow specific instructions more effectively through fine-tuning on datasets containing diverse instruction-following examples[^5]. For instance, Chinese-Alpaca-Plus-13B was developed using this method, where LLaMA-13B was fine-tuned on conversationally rich datasets generated by ChatGPT. #### 4. **Reinforcement Learning from Human Feedback (RLHF)** RLHF combines reinforcement learning with human feedback to optimize model outputs according to desired criteria[^4]. Algorithms like Proximal Policy Optimization (PPO) have been successfully applied here, allowing models to learn optimal behaviors based on both environmental rewards and direct human input. #### 5. **Automated Prompt Engineering** Several automated approaches exist for generating effective prompts programmatically. These include evolutionary algorithms, genetic programming, and Bayesian optimization techniques designed specifically for hyperparameter search spaces related to prompting strategies[^2]. ```python import random def generate_random_prompt(template="Answer the following question: {question}", placeholders={"{question}": ["What is your name?", "How old are you?"]}): """Generates a randomized version of the given template.""" filled_placeholder = {key: random.choice(values) for key, values in placeholders.items()} return template.format(**filled_placeholder) print(generate_random_prompt()) ``` The above Python snippet demonstrates how one might implement basic automation for creating varied instances of predefined templates suitable for experimentation purposes during development phases involving different types of queries. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值