如何使用n-gram重叠选择器提高示例选择效率-优快云博客

本文链接：https://blog.youkuaiyun.com/ndAbsAfaqwdav/article/details/144384435

引言

在自然语言处理和机器学习领域中，选择合适的示例来训练模型或生成动态提示是一个至关重要的步骤。NGramOverlapExampleSelector 是一个强大的工具，它通过n-gram重叠得分来选择和排序示例，从而提高示例的相关性和有效性。本文将介绍如何使用该选择器，并探讨其配置和潜在挑战。

主要内容

什么是N-gram重叠？

n-gram重叠是一种基于子字符串匹配的文本相似度度量。它通过比较输入文本和示例文本中连续n个字符的匹配程度来计算相似度。得分在0.0到1.0之间，得分越高，表示文本之间的相似性越强。

NGramOverlapExampleSelector的功能

排序示例：根据n-gram重叠得分对示例进行排序。
阈值筛选：通过设置阈值，过滤掉重叠得分低于该值的示例。
动态提示生成：与FewShotPromptTemplate结合使用，动态生成提示以适应不同输入。

代码示例

以下是如何使用NGramOverlapExampleSelector的代码示例：

from langchain_community.example_selectors import NGramOverlapExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

examples = [
    {"input": "See Spot run.", "output": "Ver correr a Spot."},
    {"input": "My dog barks.", "output": "Mi perro ladra."},
    {"input": "Spot can run.", "output": "Spot puede correr."},
]

example_selector = NGramOverlapExampleSelector(
    examples=examples,
    example_prompt=example_prompt,
    threshold=-1.0,  # 默认不排除任何示例
)

dynamic_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the Spanish translation of every input",
    suffix="Input: {sentence}\nOutput:",
    input_variables=["sentence"],
)

print(dynamic_prompt.format(sentence="Spot can run fast."))
# 使用API代理服务提高访问稳定性