LlamaIndex --- Transformations

Transformations 相关内容

概念解释

Transformations（转换）：在数据加载之后，通常需要对数据进行处理和转换，以便将其存储到存储系统中。这些转换包括分块（chunking）、提取元数据（extracting metadata）和嵌入每个块（embedding each chunk）。这些步骤是为了确保数据能够被有效地检索和最优地被大型语言模型（LLM）使用。

Node（节点）：在LlamaIndex中，Node对象是Document的子类，包含文本和元数据。Node对象之间的关系可以表示文档的层次结构。

高层次转换API

LlamaIndex提供了高层次的API来处理文档的转换。Indexes 类有一个 .from_documents() 方法，该方法接受一个 Document 对象数组，并正确地解析和分块这些文档。

示例代码：

from llama_index.core import VectorStoreIndex

# 从文档创建索引
vector_index = VectorStoreIndex.from_documents(documents)
query_engine = vector_index.as_query_engine()

在这个示例中，VectorStoreIndex 从 documents 数组创建索引，并在内部将 Document 对象分割成 Node 对象。

如果需要自定义核心组件（如文本分割器），可以通过传递自定义的转换列表或应用到全局设置来实现：

from llama_index