​​​​​​​在langchain中的使用自定义example selector

简介

在之前的文章中，我们提到了可以在跟大模型交互的时候，给大模型提供一些具体的例子内容，方便大模型从这些内容中获取想要的答案。这种方便的机制在langchain中叫做FewShotPromptTemplate。

如果例子内容少的话，其实无所谓，我们可以把所有的例子都发送给大语言模型进行处理。

但是如果例子太多的话，每次都发送如此多的内容，会让我们的钱包承受不住。毕竟那些第三方的大语言模型是按token收费的。

怎么办呢？ 能不能找到一个经济又有效的方法来完成我们的工作呢？

答案就是使用example selector。

使用和自定义example selector

我们回想一下在使用FewShotPromptTemplate的时候，实际上是可以同时传入example_selector和examples。

prompt = FewShotPromptTemplate(
    example_selector=example_selector, 
    example_prompt=example_prompt, 
    suffix="Question: {input}", 
    input_variables=["input"]
)

这里我们使用了一个example_selector，那么什么是example_selector呢？

从名字上看他的主要作用就是从给定的examples中选择需要的examples出来，提供给大模型使用，从而减少会话的token数目。

langchain中提供了这样的example_selector的实现，我们先来看下它的基础类的定义是怎么样的：

class BaseExampleSelector(ABC):
    """Interface for selecting examples to include in prompts."""

    @abstractmethod
    def add_example(self, example: Dict[str, str]) -> Any:
        """Add new example to store for a key."""

    @abstractmethod
    def select_examples(self, input_variables: Dict[str, str]) -> List[dict]:
        """Select which examples to use based on the inputs."""