LlamaIndex --- Indexing

Indexing 相关内容

概念解释

Indexing（索引）：在数据加载之后，我们有一系列的 Document 对象（或 Node 对象）。此时，我们需要在这些对象上构建索引（Index），以便能够开始查询这些数据。

Index（索引）：在LlamaIndex中，索引是一种数据结构，由 Document 对象组成，旨在通过LLM（大型语言模型）进行查询。索引的设计与查询策略相辅相成。

常见的索引类型

LlamaIndex提供了几种不同的索引类型，其中最常见的有两种：

1. Vector Store Index（向量存储索引）
2. Summary Index（摘要索引）

Vector Store Index

Vector Store Index 是最常见的索引类型。它将 Document 对象分割成 Node 对象，并为每个节点的文本创建向量嵌入（vector embeddings），以便通过LLM进行查询。

什么是嵌入（Embedding）？

向量嵌入是LLM应用的核心。嵌入是文本语义或意义的数值表示。具有相似意义的两个文本片段将具有数学上相似的嵌入，即使实际文本差异很大。这种数学关系使得语义搜索成为可能，用户提供查询词，LlamaIndex可以找到与查询词意义相关的文本，而不仅仅是关键词匹配。

Vector Store Index 嵌入文档

Vector Store Index 使