在RAG(检索增强生成)系统中,HyDE(Hypothetical Document Embeddings,假设性文档嵌入)是一种通过 生成假设性文档 来优化检索效果的技术,其核心思想是让大模型(LLM)先“想象”可能的答案文档,再用这些假设文档去检索真实内容。以下是HyDE的详细解析与实战应用指南:
一、HyDE的核心原理
1. 与传统检索的对比
方法 | 流程 | 问题 |
---|---|---|
传统检索 | 用户问题 → 向量化 → 直接检索文档 | 查询与文档语义差距大时效果差 |
HyDE检索 | 用户问题 → LLM生成假设答案 → 向量化假设答案 → 检索真实文档 | 通过假设答案弥合语义鸿沟 |
2. 技术优势
- 解决术语不匹配:将用户口语化查询转为专业文档描述。
- 增强长尾查询:对冷门问题生成更相关的检索关键词。
- 降低幻觉风险:最终答案仍基于真实文档,假设仅用于检索。