HyDE（Hypothetical Document Embeddings）

HyDE（Hypothetical Document Embeddings）是由 Gao 等人提出的一种方法，旨在通过生成假设文档来改善查询的检索效果。这种方法利用大型语言模型（LLMs）为给定的查询生成假设性的相关文档，然后将这些假设文档用作新的查询，通过密集检索器进行嵌入和搜索邻近文档。以下是 HyDE 方法的具体介绍：

1. 方法概述

HyDE 方法的核心思想是通过生成与查询相关的假设文档来扩展查询的语义信息。这些假设文档被视为查询的“假设性答案”，它们包含了与查询相关的潜在信息，可以帮助检索系统更好地理解查询的意图，并找到更相关的文档。

2. 生成假设文档

• 利用LLMs：HyDE 方法依赖于大型语言模型（如GPT-3、BERT等）来生成假设文档。这些模型通常具有强大的文本生成能力，能够根据输入的查询生成连贯且相关的文本。
• 生成指令：为了引导模型生成与查询紧密相关的假设文档，通常会提供一些指令或提示。这些指令可以是简单的指令，如“生成与以下查询相关的文档”，或者是更具体的上下文信息。

3. 使用假设文档作为新查询

• 嵌入假设文档：生成的假设文档被用作新的查询。这些假设文档通过密集检索器进行嵌入，生成文档的嵌入表示。
• 搜索邻近文档：使用假设文档的嵌入表示，检索系统在嵌入空间中搜索与这些假设文档邻近的实际文档。这些邻近文档被认为是与原始查询相关的文档。

4. 提高检索准确性