掌握 Few-Shot 示例在聊天模型中的应用

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142321483

引言

在自然语言处理中，通过向模型提供少量示例来指导生成的技术称为 Few-Shot 提示。这种方法非常灵活，可以显著提高模型性能。本文将深入探讨如何在聊天模型中有效使用 Few-Shot 示例，以及一些常见的挑战和解决方案。

主要内容

Few-Shot 提示模板

Few-Shot 提示模板通过动态选择示例来为输入提供上下文。这些示例被格式化后提供给模型，以引导其生成更符合期望的输出。

固定示例

最基本但常见的 Few-Shot 技术是使用固定示例。这样可以减少生产中的不确定因素。

示例设置: 包含多个字典示例。
示例转换: 使用 example_prompt 来将每个示例转化为人类和 AI 的信息交换。

动态 Few-Shot 提示

动态提示允许根据输入选择最相关的示例。使用向量存储选择和返回与输入语义相似的示例。

代码示例

以下是一个完整的 Few-Shot 提示的代码示例：

# 安装必要库
%pip install -qU langchain langchain-openai langchain-chroma

import os
from getpass import getpass

# 设置 OpenAI API 密钥
os.environ["OPENAI_API_KEY"] = getpass()

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate, FewShotChatMessagePromptTemplate
from langchain_chroma import Chroma
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings

# 固定示例
examples = [
    {"input": "2 🦜 2", "output": "4"},
    {"input": "2 🦜 3", "output": "5"},
]

# 创建 Few-Shot 提示
example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "{input}"),
        ("ai", "{output}"),
    ]
)

few_shot_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

# 使用模型
final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

model = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0.0)
chain = final_prompt | model

# 使用 API 代理服务提高访问稳定性
chain.invoke({"input": "What is 2 🦜 9?"})