【llm_inference】思维链推理cot（最小code实现）

章章小鱼

已于 2024-12-06 17:21:50 修改

阅读量1k

点赞数 20

文章标签： nlp 人工智能

于 2024-12-06 16:55:03 首次发布

本文链接：https://blog.youkuaiyun.com/guojiajiajiu/article/details/144295865

版权

思维链推理：提升大语言模型的逻辑推理能力

GitHub Code: 人人都能看懂的简单实现

引言

在人工智能领域，如何提升大语言模型的逻辑推理能力一直是一个重要的研究方向。思维链（Chain of Thought，简称 CoT）推理是一种创新的提示技术，通过引导模型像人类一样一步步思考，显著提升了模型在复杂问题上的表现。本文将深入剖析思维链推理的实现原理和技术细节。

思维链推理的本质

思维链推理的核心思想是通过"让模型展示思考过程"来提升推理能力。这种方法模拟了人类解决问题时的思维方式：不是直接给出答案，而是通过分步骤的推理过程来得出结论。

工作原理

步骤分解：将复杂问题分解为多个简单步骤
显式推理：在每个步骤中明确展示推理过程
渐进式解答：通过连接各个推理步骤，最终得出答案

技术实现深度解析

1. 核心数据结构

@dataclass
class TestConfig:
    """测试配置类"""
    models: List[str] = (
        "deepseek-chat",
        "mixtral-8x7b-32768", 
        "Qwen/Qwen2-72B-Instruct",
        "gpt-4o"
    )
    system_prompt: str = "You are a helpful assistant"

@dataclass
class TestCase:
    """测试用例类"""
    question: str
    use_cot: bool

这两个数据类定义了思维链测试的基础架构：

TestConfig 管理测试配置，包括可用模型列表和系统提示词
TestCase 封装测试用例，包含问题内容和是否启用思维链

2. 提示词构建

def get_prompt(self) -> str:
    """获取完整的提示词"""
    if self.use_cot:
        return f"{self.question}\nA: Let's think step by step."
    return self.question

提示词构建是思维链推理的关键：

普通模式：直接提供问题
思维链模式：添加"Let’s think step by step"引导语

3. 测试流程实现

class ChainOfThoughtTester:
    async def test_single_question(self, model_name: str, test_case: TestCase) -> str:
        messages = [
            {"role": "system", "content": self.config.system_prompt},
            {"role": "user", "content": test_case.get_prompt()},
        ]
        return await get_model_response(model_name=model_name, messages=messages)

测试器的核心功能：

构建消息列表
调用模型接口
获取响应结果

实际应用案例

让我们看一个具体的测试用例：

TestCase(
    "Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?",
    True
)

这个例子展示了思维链推理的优势：

不使用思维链时，模型可能直接回答：“11个网球”
使用思维链时，模型会这样思考：
- 首先，Roger有5个网球
- 他买了2罐网球，每罐3个
- 2罐共有2 × 3 = 6个网球
- 最终总数是5 + 6 = 11个网球

通过这种方式，我们不仅得到了正确答案，还能看到完整的推理过程。

结果管理与分析

class ResultManager:
    def save_results(self, results: Dict[str, Dict[str, str]]):
        """保存测试结果到JSON文件"""
        output_file = self.output_dir / "cot_results.json"
        with open(output_file, "w", encoding="utf-8") as f:
            json.dump(results, f, ensure_ascii=False, indent=2)