探索最大边缘相关性（MMR）：优化多样性与相似度的示例选择

最新推荐文章于 2025-06-16 16:24:30 发布

tt_jishu

最新推荐文章于 2025-06-16 16:24:30 发布

阅读量198

点赞数 7

文章标签： easyui 前端 javascript python

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/144462076

版权

# 探索最大边缘相关性（MMR）：优化多样性与相似度的示例选择

## 引言

在机器学习和自然语言处理任务中，选择合适的示例来指导模型生成或学习是至关重要的。最大边缘相关性（MMR）示例选择是一种能够在选择与输入最相似的示例的同时，优化多样性的技术。这篇文章旨在深入探讨如何实现MMR示例选择，并通过代码示例展示它在实践中的应用。

## 主要内容

### 什么是最大边缘相关性（MMR）？

MMR是一种算法，旨在从给定的多样化示例集中选择子集。其核心思想是平衡选择示例的相似性和多样性。具体来说，它会选择与输入具有最大余弦相似度的示例，然后在每次选择后，对已经选择的示例进行距离上的惩罚，以鼓励多样性。

### 如何实现MMR示例选择？

我们可以利用Langchain库中的`MaxMarginalRelevanceExampleSelector`来实现这种选择策略。通过结合向量存储（例如FAISS）和嵌入类（例如OpenAIEmbeddings），我们可以高效地管理和搜索示例。

### 代码示例

以下是实现MMR示例选择的完整代码：

```python
from langchain_community.vectorstores import FAISS
from langchain_core.example_selectors import (
    MaxMarginalRelevanceExampleSelector,
    SemanticSimilarityExampleSelector,
)
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_openai import OpenAIEmbeddings

example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

# 示例：创建反义词的任务
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

example_selector = MaxMarginalRelevanceExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),  # 嵌入类
    FAISS,  # 向量存储类
    k=2,  # 选择的示例数量
)

mmr_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Input: {adjective}\nOutput:",
    input_variables=["adjective"],
)

# 输入是感觉，因此应该选择happy/sad作为第一个示例
print(mmr_prompt.format(adjective="worried"))

# 使用API代理服务提高访问稳定性

常见问题和解决方案

网络访问限制问题

在某些地区，由于网络限制，访问OpenAI嵌入服务可能不稳定。开发者可以考虑使用API代理服务来提高访问的稳定性。

处理大规模数据集

对于非常大的示例集，计算相似度可能会变得昂贵。可以考虑使用更高效的索引方法，或者通过并行计算进行加速。

总结与进一步学习资源

MMR示例选择是一种非常有用的技术，可以在保持相关性的同时提升生成结果的多样性。通过本文的介绍和代码示例，希望你能够在实际项目中应用这一技术。

进一步学习资源：

参考资料

Langchain GitHub Repository: https://github.com/hwchase17/langchain
OpenAI API Documentation: https://beta.openai.com/docs/

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---