CoT开山之作：Chain-of-Thought Prompting

CoT先驱：大型语言模型中的推理链提示技术
原创 已于 2023-06-22 00:58:15 修改 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nlp

于 2023-05-02 12:05:16 首次发布
该论文探讨了如何通过Chain-of-ThoughtPrompting激发大规模语言模型进行推理。这种方法揭示了模型在解决问题时的思维过程，提高了其逻辑推理能力，特别是在数学和认知任务上的表现。
1.9 提示学习（Prompt Learning）之思维链（Chain-of-Thought, CoT）：开山之作
yonggeit的博客
01-17 1022
思维链（CoT）是指通过逐步推理的方式，引导语言模型在回答问题时分阶段、系统地展开思考，而不是直接给出最终的答案。这一概念的提出基于对人类思维模式的模拟：在面对复杂问题时，人类通常会按照一定的逻辑顺序进行分析，逐步推进思维，最终得出结论。与传统的简单提示学习方法（Prompting）不同，CoT的核心是让模型在回答问题时，不仅仅给出答案，而是通过详细的中间推理步骤，展示其思考过程。这种方法可以有效地提升模型对复杂推理任务的处理能力，特别是在需要多步推理、逻辑推导或常识性推理的任务中。
一文读懂「Chain of Thought，CoT」思维链
热门推荐
女王の专属领地
01-10 4万+
Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，对于复杂问题尤其是复杂的数学题大模型很难直接给出正确答案。如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。COT通过要求模型在输出最终答案之前，显式输出中间逐步的推理步骤这一方法来增强大模型的算数、常识和推理能力。简单，但有效。2022 年，在 Google 发布的论文。
【CoT】《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》- 知识点目录
墨门
05-26 364
本文探索如何生成一个（思维链）——即一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。特别地，本文展示了这种推理能力如何通过名为的简单方法，自然地出现在大型语言模型中，其中提供了一些思维链演示作为提示词的示例。对三种大型语言模型地实验表明，CoT prompting 可以提高在多种算术、常识和符号推理任务上的性能。（empirical）实证收益十分显著。
【COT】Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
小小何先生的学习之旅
05-12 1759
作者提出了chain of thought的一系列prompt方法来进行改进，在不调整模型参数的情况下，在多个任务中取得了SOTA的成绩。
【Chain-of-Thought 专题】Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
夏栀的博客
03-15 919
Chain of Thought（CoT）—— a series of intermediate reasoning steps—significantly improves the ability of large language models to perform complex reasoning.
论文笔记 CoT：提示+推理+大模型=思维链提示
be_humble的博客
04-10 3166
Google Brain CoT 思维链提示，为后面Instruction Finetune 打下基础的论文
CoT-大模型思维链
Skadi3609的博客
04-30 1824
大模型思维链综述介绍
【论文精读】Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
HERODING23的博客
10-10 8561
本文是CoT的开山之作，来自于Google，中稿于NeurIPS 2022。CoT是一种简单高效的大模型prompt，旨在激发大模型的推理能力，是当前热门的方向之一，很多prompt的工作都开始转向CoT。本文思路清晰，方法简单，通俗易懂，并且实验巧妙，是一篇特别值得精读的文章。PaperCodeFrom本文提出思维链，即一系列中间推理步骤，用于提升大语言模型的复杂推理能力。该方法高效简单，又被称为chain-of-thought prompting。
【Chain-of-Thought】开创 AI 模型推理新纪元
学习记录，厚积薄发
04-07 2428
CoT：让大型语言模型实现人类一样的推理能力，解锁全新AI思维。
Chain of Thought 开山之作论文详解
qq_42190727的博客
11-12 6787
现在语言模型的规模越来越大，但是即便是现在最大的语言模型，它们也往往很难在涉及到推理方面的任务取得很好的表现，也就是说，他们通常很难在数学，符号，以及常识的推理上取得尚佳的表现 这篇文章主要是针对大语言模型在遇到语言推理任务时的局限性，提出了 chain of thought，也就是思维链
AI Agents系列—— 探究大模型的推理能力，关于Chain-of-Thought的那些事儿
陌北有棵树的博客
01-26 1900
今天要读的论文是《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，算是关于大模型思维链研究的开山之作。 本文是2023.07.24发表在同名公众号「陌北有棵树」上的一篇文章，个人观点是基础理论的学习现在仍是有必要的，所以搬运过来。
人工智能|预训练大模型——思维链详解[Chain of Thought, CoT]
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
12-17 5160
Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，对于复杂问题尤其是复杂的数学题大模型很难直接给出正确答案。如算术推理（arithmetic reasoning）、常识推理（commonsense reasoning）、符号推理（symbolic reasoning）。COT通过要求模型在输出最终答案之前，显式输出中间逐步的推理步骤这一方法来增强大模型的算数、常识和推理能力。简单，但有效。2022 年，在 Google 发布的论文。
LLM大模型：让大模型更好的思考（CoT）
pythonhy的博客
08-18 2402
自 CoT 问世以来，CoT 的能力已经被无数工作所验证，如下图所示，可以看到，相较于直接 Prompt， CoT 对所有的推理任务都带来了显著的提升
CheesyFabric_deepdive_analyst_7984_1764666209192.zip
12-03
CheesyFabric_deepdive_analyst_7984_1764666209192.zip
【卫星抗干扰】一种用于全球导航卫星系统反欺骗的空时融合方法【附MATLAB代码】.rar
12-03
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
遗传算法重新配置配电网络（IEEE 33和69总线系统.zip
最新发布
12-03
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
windows下定期自动清空某个文件夹（比如在公司电脑上定期清空微信的聊天记录）
12-03
windows下定期自动清空某个文件夹（比如在公司电脑上定期清空微信的聊天记录）
网络爬虫基于Python的豆瓣电影Top250数据采集：使用Requests与BeautifulSoup实现网页内容解析
12-03
内容概要：本文通过一个简单的Python爬虫实例，演示了如何使用requests库发送HTTP请求，获取豆瓣电影Top250页面的数据，并利用BeautifulSoup解析HTML内容，提取出中文电影名称。代码实现了基本的网页抓取与数据清洗流程，包括设置请求头模拟浏览器行为以应对简单反爬机制、解析响应文本以及过滤非中文片名，最终输出纯净的电影标题列表。; 适合人群：具备Python基础语法知识，对网络爬虫感兴趣的初学者或刚入门的数据采集学习者；适合学习Web数据获取的基本流程和技术栈。; 使用场景及目标：①学习如何使用requests发起网络请求并携带请求头信息；②掌握BeautifulSoup进行HTML结构化解析的方法；③理解网页内容提取与数据过滤的基本逻辑，为后续深入学习爬虫框架（如Scrapy）打下基础。; 阅读建议：建议读者在本地环境中配置好相关库（requests、BeautifulSoup），动手运行并调试代码，尝试修改选择器或目标网站以加深理解，同时注意遵守网站的robots协议，合理控制请求频率。
基于粒子群优化算法的p-Hub选址优化（Matlab代码实现）
12-03
内容概要：本文介绍了基于粒子群优化算法（PSO）的p-Hub选址优化问题的研究与实现，重点解决在考虑不确定性因素下的集群式物流或交通网络中枢纽节点（Hub）的选址优化问题。通过构建数学模型，结合Matlab编程实现粒子群算法对p-Hub选址问题进行求解，旨在最小化网络总体运输成本并提升系统效率。文章涵盖了问题建模、算法设计、参数设置及仿真结果分析全过程，展示了PSO在复杂组合优化问题中的应用能力。; 适合人群：具备一定运筹学、优化算法基础，熟悉Matlab编程，从事物流网络设计、智能算法研究或交通系统优化等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标：①掌握p-Hub选址问题的基本理论与建模范式；②学习如何基于粒子群优化算法的p-Hub选址优化（Matlab代码实现）将粒子群优化算法应用于实际网络优化问题；③通过Matlab代码实现理解智能优化算法的编码流程与调参技巧；④为物流、通信、航空等枢纽网络设计提供解决方案参考。; 阅读建议：建议读者结合文中提供的Matlab代码逐行理解算法实现细节，尝试调整参数或引入其他改进策略（如自适应权重、混合算法）以提升优化性能，同时可扩展至带容量约束、多分配或多目标的Hub选址问题进行深入研究。
zj_type str 文本处理类型，如"mix" auto_cot bool 是否启用自动Chain-of-Thought，这两个参数应该怎么设置
08-22
`zj_type` 和 `auto_cot` 是两个控制文本处理方式的参数，它们的设置取决于你使用的模型输出格式和评估目标。下面是它们的详细说明和设置建议： --- ### ✅ `zj_type` 参数说明 - **类型**：`str` - **默认值**：`"none"` - **可选值**：`"none"`, `"mix"`（或其他自定义值，视具体项目而定） - **作用**：决定如何处理预测文本和真实标签文本，特别是在混合任务或多阶段输出中。 #### 示例逻辑： ```python if zj_type == 'mix': gt[i] = gt[i].replace(zj_pro_placeholder, '').replace(zj_end, '') pred[i] = pred[i].replace(zj_pro_placeholder, '').replace(zj_end, '') gt[i] = '{' + gt[i][gt[i].find("自车横纵向决策")-1:] pred[i] = '{' + pred[i][pred[i].find("自车横纵向决策")-1:] ``` #### 设置建议： | 场景 | `zj_type` 设置 | |------|----------------| | 普通纯文本输出 | `"none"` | | 包含多阶段或多任务输出（如自车决策+路径规划） | `"mix"` | | 特定格式输出（需要截取某段内容） | 自定义逻辑（如`"custom"`） | --- ### ✅ `auto_cot` 参数说明 - **类型**：`bool` - **默认值**：`False` - **作用**：是否启用自动 Chain-of-Thought（CoT）模式。若启用，表示预测文本中包含推理过程和最终答案，需要进行分隔符提取。 #### 示例逻辑： ```python if auto_cot: delimiter = prediction_data['auto_cot_delimiter'] trimmed_gt = [] for txt in gt: if delimiter in txt: trimmed_gt.append(txt[txt.find(delimiter)+len(delimiter):].replace(zj_end, '').replace(zj_pro_placeholder, '')) else: trimmed_gt.append(txt.replace(zj_end, '')) gt = trimmed_gt ``` #### 设置建议： | 场景 | `auto_cot` 设置 | |------|----------------| | 模型输出只有最终答案 | `False` | | 模型输出包含推理过程（CoT）和答案 | `True` | --- ### ✅ 推荐的组合设置 | 使用场景 | `zj_type` | `auto_cot` | 说明 | |----------|------------|-------------|------| | 纯文本输出，无CoT | `"none"` | `False` | 最基础的评估方式 | | 有推理过程（如CoT）输出 | `"none"` | `True` | 使用分隔符提取答案部分 | | 多阶段输出（如决策+路径规划） | `"mix"` | `False` | 截取特定部分进行评估 | | 多阶段输出且有CoT | `"mix"` | `True` | 同时启用两种处理方式 | --- ### ✅ 示例命令行调用方式 ```bash python evaluate.py predictions.pt mix True '[eos]' summary output_dir Pangu_x.x DriveCoT ``` 对应参数顺序： 1. `predictions_path` = `predictions.pt` 2. `zj_type` = `mix` 3. `auto_cot` = `True` 4. `zj_end` = `[eos]` 5. `save_name` = `summary` 6. （跳过第6个参数） 7. `model_name` = `Pangu_x.x` 8. `assessment_set` = `DriveCoT` --- ### ✅ 示例代码片段（根据参数处理文本） ```python if auto_cot: delimiter = prediction_data.get('auto_cot_delimiter', '---') trimmed_gt = [txt.split(delimiter)[-1].replace(zj_end, '') for txt in gt] trimmed_pred = [txt.split(delimiter)[-1].replace(zj_end, '') for txt in pred] else: trimmed_gt = [txt.replace(zj_end, '') for txt in gt] trimmed_pred = [txt.replace(zj_end, '') for txt in pred] ``` --- ### ✅ 总结 | 参数 | 推荐值 | 适用场景 | |------|--------|----------| | `zj_type` | `"none"` 或 `"mix"` | 控制文本截取方式 | | `auto_cot` | `True` 或 `False` | 是否启用推理过程提取 | --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值