思维链CoT 如何提升模型能力?分步骤展示推理过程。CoT通过显示逻辑步骤引导模型模拟人类思考。
一、思维链
1.1 思维链的定义
思维链,全称是Chain-of-thought,简称CoT 。
思维链,是一种改进的提示策略。
思维链,概念是在 Google 的论文"Chain-of-Thought PromptingElicits Reasoning in Large Language Models” 中被首次提出。
思维链,用于提高LM 在复杂推理任务中的性能,如算术推理、常识推理和符号推理。
思维链,没有像In-Context Learning那样简单地用输入输出对构建提示,而是结合了中间推理步骤,这些步骤可以将最终输出引入提示。
1.2 思维链的限制
思维链只是在一些有限的领域效果较好,如数学逻辑推理能力,其他领域提升较小。需要模型足够大。
如PaLM 在扩展到 5408 参数时,与思维链提示结合,才表现出了先进的性能。一些小规模模型思维链并没有太大的影响,能力提升也不会很大。
Fine-tune-CoT,利用非常大的语言模型的思维链推理能力来指导小模型解决复杂任务
二、思维链提示CoT
2.1 思维链的定义
思维链提示,全程是Chain-of-Thought Prompting,简称 CoT
订阅专栏 解锁全文
1936

被折叠的 条评论
为什么被折叠?



