原文:
towardsdatascience.com/advanced-query-transformations-to-improve-rag-11adca9b19d1
图片由作者提供。AI 生成。
检索增强生成已经成为生成式 AI 文献中最受讨论的话题之一。随着每日博客文章和科学论文的涌入,保持更新可能具有挑战性。然而,RAG 的流行是当之无愧的,因为没有任何其他解决方案已被证明在减轻大型语言模型中的幻觉方面如此有效。
RAG 通过像维基百科页面、私有 PDF 等可靠的来源增强语言模型的一般知识。这就是为什么 RAG 最重要的步骤是确保我们的检索找到正确的文档输入到模型中。
我们非常需要 RAG,因为我们目前面临将完整文档拟合到上下文窗口的限制。原因包括模型输入的受限令牌长度、计算成本的成比例增加,以及“中间丢失”等问题,这指的是模型难以使用长输入上下文中找到的信息[2]。
<…/Images/dd63b1d3f17881d6ca39510ee4dec772.png>
模型性能与上下文窗口中相关信息位置之间的关系。[2]
如果检索到的文档太长或不相关,正如俗话所说,垃圾输入,垃圾输出。
有许多增强 RAG 的技术,这给何时应用每种技术带来了额外的挑战。在这篇文章中,我们将分析查询转换以及如何使用路由器根据输入提示选择适当的转换。
查询转换背后的想法是检索器可能不会认为用户的初始提示与数据库中的相关文档特别相似。在这些情况下,我们可以在检索和将它们提供给语言模型之前修改查询,以增加其与我们来源的相关性。
我们将从一个简单的 RAG 应用开始,通过加载关于尼古拉斯·凯奇、最佳时光(尼古拉斯·凯奇在其中出演了他的首部电视剧集)和莱昂纳多·迪卡普里奥的三篇维基百科页面。
然后,我们将文档分成 256 个字符的块,没有重叠。这些块将被嵌入并索引到 Vector Store 中,默认情况下,它将所有内容存储在内存中,但如果你想要持久性选项,有几十种选项可供选择。
WikipediaReader = download_loader("WikipediaReader")
loader = WikipediaReader()
pages = ['Nicolas_Cage', 'The_Best_of_Times_(1981_film)', 'Leonardo DiCaprio']
documents = loader.load_data(pages=pages, auto_suggest=False, redirect = False)
llm = OpenAI(temperature=0, model="gpt-3.5-turbo")
gpt3 = OpenAI(temperature=0, model="text-davinci-003")
embed_model = OpenAIEmbedding(model= OpenAIEmbeddingModelType.TEXT_EMBED_ADA_002)
service_context_gpt3 = ServiceContext.from_defaults(llm=gpt3, chunk_size = 256, chunk_overlap=0, embed_model=embed_model)
index = VectorStoreIndex.from_documents(documents, service_context=service_context_gpt3)
retriever = index.as_retriever(similarity_top_k=3)
现在,我们必须确保模型只根据上下文回答,而不依赖于其训练数据,即使它可能已经学到了答案。
# The response from original prompt
from llama_index.prompts import PromptTemplate
template = (
"We have provided context information below. n"
"---------------------n"
"{context_str}"
"n---------------------n"
"Given this information, please answer the question: {query_str}n"
"Don't give an answer unless it is supported by the context above.n"
)
qa_template = PromptTemplate(template)
我们将使用两个更复杂的查询来测试我们刚刚创建的 RAG 应用。让我们看看第一个。
查询 1 - “谁执导了标志着尼古拉斯·凯奇表演处女作的那个试播集?”
第一个具有挑战性的查询需要链接多个信息片段:尼古拉斯·凯奇的表演处女作和该特定电影的导演。提示中只提到了尼古拉斯·凯奇,而导演的名字没有在任何地方提及。
由于模型不知道标志着凯奇处女作的电视试播集的名字,即"The Best of Times",因此它无法从我们索引的文档中检索相关细节。
question = "Who directed the pilot that marked the acting debut of Nicolas Cage?"
contexts = retriever.retrieve(question)
context_list = [n.get_content() for n in contexts]
prompt = qa_template.format(context_str="nn".join(context_list), query_str=question)
response = llm.complete(prompt)
print(str(response))
第一个查询的简单 RAG 输出。图片由作者提供
查询 2 - “比较尼古拉斯·凯奇和莱昂纳多·迪卡普里奥所接受的教育。”
对于第二个查询,检索器只选择了关于莱昂纳多·迪卡普里奥教育的相关文本片段。关于尼古拉斯·凯奇的片段不相关,因此我们无法进行准确的比较。
question = "Compare the education received by Nicolas Cage and Leonardo DiCaprio."
contexts = retriever.retrieve(question)
context_list = [n.get_content() for n in contexts]
prompt = qa_template.format(context_str="nn".join(context_list), query_str=question)
response = llm.complete(prompt)
print(str(response))
第二个查询的简单 RAG 输出。图片由作者提供。
让我们分析一些查询转换技术,并看看每种情况下哪种效果最好。
HyDE
HyDE。图片由作者提供。
假设文档嵌入(HyDE)是一种生成文档嵌入以检索相关文档的技术,而无需实际训练数据。首先,一个 LLM 针对查询创建一个假设答案。在反映与查询的相关性模式的同时,这个答案包括可能不是事实准确的信息。
接下来,将查询和生成的答案都转换成嵌入。然后系统识别并从预定义的数据库中检索与这些嵌入在向量空间中最接近的实际文档。
<…/Images/a608957d3805c012c3139ccb7f15e491.png>
HyDE 模型的说明 [3]
from llama_index.indices.query.query_transform import HyDEQueryTransform
from llama_index.query_engine.transform_query_engine import (
TransformQueryEngine,
)
index = VectorStoreIndex.from_documents(documents, service_context=service_context_gpt3)
query_engine = index.as_query_engine(similarity_top_k=3)
hyde = HyDEQueryTransform(include_original=True)
hyde_query_engine = TransformQueryEngine(query_engine, hyde)
查询 1
response = hyde_query_engine.query("Who directed the pilot that marked the acting debut of Nicolas Cage?")
print(response)
第一个查询的 HyDE RAG 输出。图片由作者提供。
我们已经取得了一些部分进展——模型的答案仍然不正确,但它已经更接近正确答案。具体来说,它现在能够识别电视试播集的名字(“Best of Times”)。让我们看看这个幻觉答案是什么样的。
query_bundle = hyde("Who directed the pilot that marked the acting debut of Nicolas Cage?")
hyde_doc = query_bundle.embedding_strs[0]
hyde_doc
第一个查询的 HyDE 输出。图片由作者提供。
虽然弗朗西斯·科波拉并没有执导"The Best of Times",但至少幻觉中包含了电影的名字。
查询 2
response = hyde_query_engine.query("Compare the education received by Nicolas Cage and Leonardo DiCaprio.")
print(response)
第二个查询的 HyDE RAG 输出。图片由作者提供。
答案是正确的,因为虚构的答案显著提高了输出质量。LLM 在训练数据中已经有了关于演员教育的信息。
第二个查询的 HyDE 输出。图片由作者提供。
子问题
子问题技术使用分而治之的方法来处理复杂问题。它首先分析问题,并将它们分解成更简单的子问题。每个子问题针对可以提供部分答案的不同相关文档。
然后,该引擎收集中间响应并将所有部分结果综合成一个最终响应。
# setup base query engine as tool
query_engine_tools = [
QueryEngineTool(
query_engine=vector_query_engine,
metadata=ToolMetadata(
name="Sub-question query engine",
description="Questions about actors",
),
),
]
query_engine = SubQuestionQueryEngine.from_defaults(
query_engine_tools=query_engine_tools,
service_context=service_context,
use_async= False
)
查询 1
第一个查询的子问题 RAG 输出。图片由作者提供。
为第一个查询生成的子问题。图片由作者提供。
没有方法可以将这个问题分解成更简单的子问题,使其更容易回答。模型尝试生成一个子问题,但没有提供任何超出原始查询的额外上下文,浪费了在无效转换上的计算。
查询 2
第二个查询的子问题 RAG 输出。图片由作者提供。
为第二个查询生成的子问题。图片由作者提供。
这次,生成子问题非常有用,因为我们需要比较两段不同的信息——两个人的教育背景。每个子问题都可以独立使用检索到的上下文来回答。
多步查询转换
<…/Images/05b69342e90726597cfa08725f4908cd.png>
自问 + 搜索引擎 [1]
多步查询转换方法基于自问方法,其中语言模型在回答原始问题之前,先向自己提问并回答后续问题。这有助于模型结合它在预训练期间分别学习到的事实和见解。
原始论文显示,LLM 往往无法将两个事实组合在一起,即使它们各自独立知道。例如,一个模型可能知道事实 A 和事实 B,但无法推断 A 和 B 的共同含义。
自问方法旨在克服这一限制。在测试时,我们只需向模型提供提示和问题。然后,它自动生成任何必要的后续问题,以连接事实、组成推理步骤并决定何时停止 [1]。
query_engine = MultiStepQueryEngine(
query_engine=query_engine,
query_transform=step_decompose_transform_gpt3,
index_summary=index_summary
)
查询 1
Don Mischer 指导了标志着尼古拉斯·凯奇演艺生涯开端的试映。
这是我们第一次对这个查询得到正确答案!让我们看看中间问题。
多步骤查询引擎第一次查询的输出。图片由作者提供。
第一个子问题的输出如下:
标记尼古拉斯·凯奇演艺生涯开端的《最佳时光》飞行员并非由科波拉家族中的任何人执导。它是由罗德·阿马图执导的。
在识别出飞行员姓名后,第二个子问题现在具体询问导演:
谁执导了标记尼古拉斯·凯奇演艺生涯开端的《最佳时光》飞行员?
这种多步骤方法帮助模型利用先前问题的额外上下文,并引导我们得到正确答案。
查询 2
尼古拉斯·凯奇在加州大学洛杉矶分校戏剧、电影与电视学院接受了戏剧、电影和电视领域的教育。另一方面,莱昂纳多·迪卡普里奥就读于洛杉矶中心研究学校、种子小学和约翰·马歇尔高中。然而,迪卡普里奥高中辍学,后来获得了普通同等学历证书。
多步骤查询引擎第二次查询的输出。图片由作者提供。
在这个案例中,多步骤方法也很有用。我们的观点是,对于第二个查询,之前使用的子问题技术更适合,因为它可以并行化。这些问题是独立的,不需要相互依赖。但多步骤方法也可以很有用。
路由查询引擎
每个查询转换都针对不同的情况证明是有用的。子问题分解最适合可以分解成更简单子问题的查询,例如比较尼古拉斯·凯奇和莱昂纳多·迪卡普里奥的教育。
多步骤转换最适合需要迭代探索上下文的查询,例如链接信息的多个方面。
简单查询可能根本不需要任何转换,应用它们将是资源的浪费。
为了处理选择所有这些情况,我们可以使用一个路由查询引擎——我们给一个 LLM 提供一系列查询转换工具,并让它根据输入提示决定应用最佳的一个。
query_engine = RouterQueryEngine(
selector=PydanticSingleSelector.from_defaults(),
query_engine_tools=[
simple_tool,
multi_step_tool,
sub_question_tool,
],
)
我们创建了一个路由器,允许在不需要转换、子问题分解或多步骤转换之间进行选择,具体取决于每个独特的查询。让我们看看路由器是如何推理选择哪种方法的。
首先,我们将选择一个非常简单的问题,它不需要任何转换。
response_1 = query_engine.query("What is Nicolas Cage's profession?")
路由查询引擎输出选择 simple_tool。图片由作者提供。
路由器通过评估查询相对简单,做出了正确的选择。由于它直接询问尼古拉斯·凯奇职业的单个事实,因此不需要查询转换来分解或扩展这个问题。
response_2 = query_engine.query("Compare the education received by Nicolas Cage and Leonardo DiCaprio.")
路由查询引擎输出选择子问题工具。图片由作者提供。
为了回答一个比较性问题,路由器准确地将其分解为关于每个个体的更简单的子问题。
response_3 = query_engine.query("Who directed the pilot that marked the acting debut of Nicolas Cage?")
路由查询引擎输出选择多步工具。图片由作者提供。
对于第三个查询,路由器认识到正确回答需要链接多个上下文信息——具体来说,是识别标志着凯奇演艺生涯开始的试播集,然后确定该试播集的导演是谁。
结论
正如我们所探讨的,通过高级查询转换增强 RAG 可以显著提高模型性能。
虽然查询转换只是提高检索的许多技术之一,但它展示了将检索与 LLM 固有的推理能力相结合的定制分析潜力和需求。
. . .
如果您喜欢这篇文章,请加入*文本生成**——我们的时事通讯每周有两篇关于生成式 AI 和大型语言模型的最新见解的文章。*
_ 您可以在GitHub上找到这个项目的完整代码。_
您也可以在领英上找到我。
. . .
参考文献
594



被折叠的 条评论
为什么被折叠?



