【AI大模型应用开发】从CoT到ToT，再到ReAct，提升大模型推理能力的方式探索（含代码）

大家好，我是 同学小张，持续学习C++进阶知识和AI大模型应用实战案例，持续分享，欢迎大家点赞+关注，共同学习和进步。

---

今天我们主要学习下当下提高大模型推理能力的几个主要技术，从CoT（Chain of Thought）到TOT（Tree of Thought），再到ReAct。从概念到实现代码框架，一点点去理解这些思想背后的原理。

1. CoT（Chain of Thought，思维链）

第一次接触到CoT是在Prompt工程中，其作为Prompt高级技巧的一部分，可以显著提高大模型在推理方面的能力，尤其是解决数学等具有逻辑性的问题时。

区别于传统的 Prompt 从输入直接到输出的映射 <input——>output> 的方式，CoT 完成了从输入到思维链再到输出的映射，即 <input——>reasoning chain——>output>。

原论文：https://arxiv.org/pdf/2201.11903.pdf

1.1 基本使用

目前没有看到 CoT 相关的实现代码，仅仅在 Prompt 中添加了一句 “Let’s Step by Step” 就让大模型在推理上用到了思维链。

而关于 CoT 的论文，也基本上都是在讲如何微调来让大模型具备思维链的能力。例如这篇论文：https://arxiv.org/pdf/2210.11416.pdf

所以，我想，C