36 LlamaIndex响应模式详解

LlamaIndex响应模式详解

在LlamaIndex中，响应模式是决定如何从检索到的文本块中生成答案的关键。本文将详细介绍当前支持的响应模式，帮助你选择最适合你需求的模式。

当前支持的选项

refine

refine模式通过依次处理每个检索到的文本块来创建和提炼答案。这会为每个节点/检索到的块进行一次单独的LLM调用。

详细过程：

• 第一个块使用text_qa_template提示进行查询。
• 然后，答案和下一个块（以及原始问题）使用refine_template提示进行另一次查询。
• 依此类推，直到所有块都被处理。

如果一个块太大而无法适应窗口（考虑到提示大小），它会使用TokenTextSplitter进行分割（允许块之间有一些文本重叠），并且新生成的块被视为原始块集合的一部分（因此也会使用refine_template进行查询）。

适用场景：

• 适合需要更详细答案的情况。

compact（默认）

compact模式类似于refine，但事先将块紧凑（连接），从而减少LLM调用次数。

详细过程：

• 尽可能多地填充文本（从检索到的块中连接/打包），使其适应上下文窗口（考虑到text_qa_template和refine_template之间的最大提示大小）。
• 如果文本太长而无法适应一个提示，则根据需要将其分割成多个部分（使用TokenTextSplitter，因此允许块之间有一些重叠）。
• 每个文本部分被视为一个“块”，并发送给refine合成器。

简而言之，它类似于refine，但LLM调用次数更少。

tree_summarize

tree_summarize模式使用summary_template提示尽可能多次地查询LLM，直到所有连接的块都被查询，从而生成多个答案。这些答案本身被递归地用作tree_summarize LLM调用的块，依此类推，直到只剩下一个块，从而得到一个最终答案。

详细过程：

• 尽可能多地连接块，使其适应上下文窗口使用summary_template提示，并在需要时进行分割（再次使用TokenTextSplitter和一些文本重叠）。
• 然后，对每个结果块/分割进行summary_template查询（没有refine查询！）并获取多个答案。

如果只有一个答案（因为只有一个块），那么它就是最终答案。

如果有多个答案，这些答案本身被视为块，并递归地发送给tree_summarize过程（连接/分割-适应/查询）。

适用场景：

• 适合总结目的。

simple_summarize

simple_summarize模式将所有文本块截断以适应单个LLM提示。适合快速总结目的，但由于截断可能会丢失细节。

no_text

no_text模式仅运行检索器以获取原本会发送给LLM的节点，而不实际发送它们。然后可以通过检查response.source_nodes进行检查。

accumulate

accumulate模式给定一组文本块和查询，将查询应用于每个文本块，同时将响应累积到一个数组中。返回所有响应的连接字符串。适合需要对每个文本块单独运行相同查询的情况。

compact_accumulate

compact_accumulate模式与accumulate相同，但会对每个LLM提示进行“紧凑”处理，类似于compact，并对每个文本块运行相同的查询。

了解更多

要了解更多关于响应合成器的信息，请参阅响应合成器指南。

通过这些响应模式，你可以根据具体需求选择最合适的方式来生成答案。每种模式都有其独特的优势和适用场景，选择合适的模式将大大提升你的查询效率和结果质量。