Phoenix项目中Chain-of-Thought提示工程实践指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00830/article/details/148490367

Phoenix项目中Chain-of-Thought提示工程实践指南

phoenix AI Observability & Evaluation 项目地址: https://gitcode.com/gh_mirrors/phoenix13/phoenix

引言：理解思维链提示的重要性

在现代自然语言处理领域，大型语言模型(LLM)已经展现出惊人的文本生成能力。然而，它们的推理能力很大程度上取决于我们如何设计提示(prompt)。本文将深入探讨Phoenix项目中实现的Chain-of-Thought(CoT，思维链)提示技术，这是一种显著提升模型逻辑推理能力的方法。

思维链提示的核心概念

思维链提示是一种引导模型分步思考的技术，特别适用于数学计算、逻辑推理和多步骤问题解决场景。与直接提问相比，CoT提示要求模型展示其推理过程，从而产生更准确的结果。

思维链提示的三种主要形式

零样本提示(Zero-Shot Prompting)：最基础的提问方式，不提供任何示例或推理步骤
零样本思维链(Zero-Shot CoT)：添加"让我们一步步思考"等指令，引导模型展示推理过程
自洽思维链(Self-Consistency CoT)：生成多个推理路径，选择最一致的答案
少样本思维链(Few-Shot CoT)：提供示例问题及其推理过程，帮助模型学习解题模式

Phoenix环境配置

在开始实验前，我们需要配置Phoenix环境：

!pip install -qqqq "arize-phoenix>=8.0.0" datasets openinference-instrumentation-openai

然后设置必要的API密钥：

import os
from getpass import getpass

os.environ["PHOENIX_COLLECTOR_ENDPOINT"] = "https://app.phoenix.arize.com"
if not os.environ.get("PHOENIX_CLIENT_HEADERS"):
    os.environ["PHOENIX_CLIENT_HEADERS"] = "api_key=" + getpass("输入Phoenix API密钥: ")

if not os.environ.get("OPENAI_API_KEY"):
    os.environ["OPENAI_API_KEY"] = getpass("输入OpenAI API密钥: ")

实验数据集准备

我们使用数学应用题数据集，包含问题、分步解释和对应答案：

from datasets import load_dataset
import phoenix as px

ds = load_dataset("syeddula/math_word_problems")["train"]
ds = ds.to_pandas()

零样本提示：建立基准线

零样本提示是最简单的交互方式，直接提问而不提供任何示例：

from openai import OpenAI
from phoenix.client.types import PromptVersion

params = CompletionCreateParamsBase(
    model="gpt-3.5-turbo",
    temperature=0,
    messages=[
        {
            "role": "system",
            "content": "你是一个评估者，输出数学应用题的答案。只回答整数答案。不要包含文字、解释、符号、标签或单位，并四舍五入所有小数答案。",
        },
        {"role": "user", "content": "{{Problem}}"},
    ],
)

prompt = PhoenixClient().prompts.create(
    name="wordproblems",
    prompt_description="计算应用题答案的提示",
    version=PromptVersion.from_openai(params),
)

在Phoenix中，这个初始提示会被记录在Prompt标签下，后续所有修改都会在"版本"中追踪。

零样本思维链提示

通过添加简单的指令引导模型分步思考：

zero_shot_COT_template = """
你是一个评估者，输出数学应用题的答案。

在提供答案前，你必须始终逻辑地思考问题。

首先，展示你的部分推理过程。

然后，在最后一行只输出整数答案。在这个最终答案中，确保不包含文字、逗号、标签或单位，并四舍五入所有小数答案。
"""

这种提示方式在Phoenix中会创建为新版本，我们可以比较它与基准线的性能差异。

自洽思维链提示

通过生成多个独立推理路径来提高准确性：

consistency_COT_template = """
你是一个评估者，输出数学应用题的答案。

按照以下步骤：
1. 独立多次解决问题，每次都要仔细思考解决方案
2. 展示每次独立尝试的部分推理
3. 识别出现频率最高的整数答案
4. 在新行中，仅输出这个多数答案作为纯整数，不含文字、逗号、标签、单位或特殊字符
"""

少样本思维链提示

提供工作示例帮助模型学习解题模式：

few_shot_COT_template = """
你是一个评估者，输出数学应用题的答案。在提供答案前，你必须始终逻辑地思考问题。展示你的部分推理过程。

最后，在最后一行只输出整数答案。在这个最终答案中，确保不包含文字、逗号、标签或单位，并四舍五入所有小数答案。

以下是一些应用题示例、分步解释和解决方案，用于指导你的推理：

{examples}
"""