为什么在提示词中添加“Let’s think step step”能提升大模型效果？

时间线：Chain-of-Thought（2022年1月） → Zero-shot-CoT（2022年10月） → Step-Back（2023年10月）

关键信息整理

1. “Let’s think step by step”的来源
   这一方法属于Zero-shot-CoT（零样本思维链），最早由东京大学和谷歌在论文《Large Language Models are Zero-Shot Reasoners》中提出[1]。其核心是通过在提示词尾部追加“Let’s think step by step”，无需手动编写示例即可激发模型的推理能力。实验表明，该指令能显著提升模型在数学、逻辑等复杂任务中的表现[1]。

2. Chain-of-Thought Prompting
   由Google团队在论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（NeurIPS 2022）提出[4][6]。该方法通过提供包含中间推理步骤的少样本示例（Few-shot），引导模型生成逐步推理的答案。例如，在算术任务中，模型会先分解问题步骤再输出结果。实验显示，CoT对超过100B参数的模型效果显著