Llamaindex指南，用于构建LLM应用程序（译）

大型语言模型（LLMs）拥有巨大的潜力，但其在数据获取和解释方面的挑战可能会影响其有效性。传统的使用LLMs处理数据的方法可能既繁琐又复杂。即使LLMs具有令人印象深刻的能力，它们在有效寻找和掌握信息方面仍需要帮助。LlamaIndex提供了一个解决方案——一个用于LLM应用程序的数据框架。这是一个旨在弥合LLMs和数据之间差距的数据框架。这使得您的LLM能够提供高效的答案，构建更强大的应用程序，并真正发挥其全部潜力，让您专注于有趣的部分——创造一些了不起的东西！

本指南是您全面理解LlamaIndex的一站式解决方案，无论您是经验丰富的数据科学家，还是刚刚开始探索LLM世界的新手。我们将探讨LlamaIndex如何解决数据挑战，其工作原理以及应用案例，并了解如何利用它构建强大的LLM应用程序。

目录

什么是LlamaIndex？
LlamaIndex如何工作？
使用LlamaIndex构建LLM应用程序
LlamaIndex教程：设置
LlamaIndex应用案例
LlamaIndex与LangChain的关键比较
使用ProjectPro构建有影响力的LLM应用程序！
关于LlamaIndex的常见问题解答

一 什么是LlamaIndex？

LlamaIndex是一个强大的框架，旨在简化构建由大型语言模型（LLMs）驱动的应用程序的过程。它为应用程序中使用不同的LLMs（如OpenAI、Hugging Face或LangChain）提供了一个统一的接口，使工程师和开发者能够无缝地将LLMs集成到数据处理流程中。LlamaIndex专注于上下文增强的LLM应用程序，其中LLMs与您自己的私有或专用数据一起使用。

LlamaIndex提供以下功能：
**数据检索和索引：**LlamaIndex提供了连接器，可以无缝地从各种来源检索您的数据，包括数据库（SQL）、文档（PDFs）、API等。它提供了强大的工具来存储和索引数据，使其适用于不同的用例，如文档问答、数据增强的聊天机器人和知识代理。

**数据结构化：**LlamaIndex组织您的数据，以便LLMs能够理解和检索。LlamaParse处理包含表格和图形的复杂文档，将其转换以供LLMs使用。这种数据理解的提升导致更准确的提取和更好的查询响应。

**自然语言访问：**LlamaIndex帮助您使用自然语言与数据互动。这意味着您可以构建应用程序，允许用户提问、进行对话，甚至通过AI代理与您的数据互动——所有这些都可以通过自然语言完成。

**LLM无关性：**LlamaIndex非常灵活，不限制您使用LLM（大型语言模型）的方式。您可以为聊天机器人和自动补全功能等应用程序利用LLM，甚至可以创建智能代理。LlamaIndex通过您的特定数据增强了LLM的有效性。

**LlamaCloud：**LlamaIndex提供LlamaCloud服务，简化了企业应用程序的数据管道。它提供托管的数据摄取和检索API，消除了对定制连接器或解析逻辑的需求。LlamaCloud支持超过150种数据源和40多种存储集成，简化了数据管理。它还包括一个交互式用户界面，用于测试和优化摄取/检索策略，并提供可扩展的解决方案，能够处理增量更新和负载平衡。

请查看以下由Mark Hinkle（Peripety Labs的CEO和创始人）发表的文章，他通过一个出色的示例解释了LlamaIndex及其功能 -


对于充分利用 LLMs来在其行业中获得竞争优势的组织来说，这种能力至关重要。

• 简化数据管理:Llamalndex简化了不同数据源的整合和管理，自动化流程以减少人工干预。这种效率使企业能够将更多资源分配给创新和战略举措。
• 改进的搜索和检索:平台的复杂搜索功能可以实现快速准确的数据检索通过利用自然语言处理获得更相关的结果，从而促进更好的决策和客户服务。
• 自定义和灵活性:Llamalndex的可适应框架支持各种应用程序，从详细文档分析到语义搜索，确保企业可以根据不断变化的需求定制其LLM实现。
• 可扩展性和效率:Llamalndex的设计旨在适应增长，确保数据处理流程保持高效和可扩展，支持企业在不增加重大资源投资的情况下进行扩展。
  Llamalndex为那些希望通过集成定制数据集来优化大型语言模型使用的企业提供了一个全面的解决方案。它在增强数据管理、搜索和检索效率、定制化、可伸缩性和竞争定位方面的能力使其成为前瞻性组织的宝贵资产。

二 LlamaIndex如何工作？

LlamaIndex通过定制化数据帮助您构建由大型语言模型（LLMs）提供支持的功能强大的应用程序。以下是其在不同阶段的职能分解：

阶段1：数据加载

这个阶段专注于将您的信息输入系统，以便大型语言模型（LLMs）能够使用。LlamaIndex在这里提供了两个关键功能：加载和转换。

• 加载：您可以使用内置工具（如SimpleDirectoryReader）加载各种数据格式，或利用LlamaHub社区开发的库从几乎任何来源检索数据。
• 转换：一旦加载完毕，您可以使用转换来处理数据。这包括将文本拆分为句子或标记等日常操作。

阶段2：索引

索引是将加载的数据组织起来以便高效检索的过程。它允许LlamaIndex快速根据用户查询定位相关信息。这种索引能力对于检索增强生成（Retrieval-Augmented Generation, RAG）技术来说是基础性的。LlamaIndex通过提供多种索引选项来适应您的特定用例，从而提供了灵活性。以下是一些最常见的选项：

1. 向量存储索引：这是最广泛使用的选项。它使用数值表示（嵌入）来存储数据，从而实现基于相似性的高效搜索。
   
2. 概要索引（原名列表索引）：这种索引方式按顺序存储数据，使其成为基于信息顺序进行直接检索的理想选择。
   
3. 树索引：这种索引方式构建类似于家族树的层次结构。它通过从广泛的类别开始，逐渐缩小到具体细节，从而实现有组织的搜索。
   
4. 关键词表索引：这种索引方式从您的数据中提取关键词并创建映射。这允许根据您查询中出现的关键词进行快速检索。
   

阶段3：查询

查询涉及从您的索引数据中检索信息。LlamaIndex提供了一个查询接口，该接口处理输入提示并覆盖索引数据，返回的响应中增强了来自数据的相关知识。当您提交查询时，LlamaIndex根据查询检索相关的数据块（节点）。这些节点然后被输入到响应合成模块中，将它们转换成人类可读的格式，实际上是编写您的答案。节点检索的方法取决于所选择的索引。

以下是不同索引如何处理查询的一瞥：
概要索引（原名列表索引）：这种方式比较简单。它按照存储的顺序检索节点，并提供基于相似性或关键词的高级过滤选项。

基于相似性（例如，VectorStoreIndex）：这种方法根据节点的嵌入式表示找到与您的查询最相似的节点。

导航型（例如，树索引）：这种方法遍历索引的层次结构，从更广泛的类别开始，根据您的查询向下深入到具体细节。

基于关键词（例如，关键词表索引）：这种策略识别包含与您查询搜索匹配的关键词的节点。

阶段4：存储

存储在管理和保存索引数据以及嵌入方面至关重要，以便以高效和低成本的方式进行检索。当您创建索引时，数据和嵌入以结构化格式存储。持久化这些索引将它们保存到存储介质（本地存储或数据库）中，以便重复使用，而无需每次重新处理原始数据。这对于大型语言模型应用程序的效率和可扩展性至关重要。重建索引可能计算成本高昂，特别是对于大型数据集。持久化避免了这些重复成本，特别是对于LlamaIndex可以利用的、基于API使用量收费的服务，如OpenAI的GPT-4 API。

LlamaIndex提供了一个灵活且健壮的存储解决方案，以及一个高级接口。这个接口允许您管理各种数据组件，包括：
文档存储：这些存储您加载到系统中的原始数据对象。
索引存储：LlamaIndex保存与您的索引相关的元数据，确保它们高效运行。
向量存储（特定于VectorStoreIndex）：这些存储用于相似性搜索的数据的数值表示（嵌入）。
图存储（特定于属性图索引）：这个组件存储知识图谱本身，其中包含用于复杂查询的信息和连接。
聊天存储（对于聊天应用程序是可选的）：如果您正在构建一个聊天应用程序，LlamaIndex提供专用的聊天消息存储，保持您的对话井然有序。

除了接口之外，LlamaIndex还允许您根据需要选择各种存储后端。这些后端包括本地文件系统用于现场存储，或者像AWS S3和Cloudflare R2这样的云存储解决方案，用于可扩展性和远程访问。这种存储管理的灵活性确保了您的数据安全且易于LlamaIndex使用。

三 使用LlamaIndex构建LLM应用程序

LlamaIndex提供了两种在Python中构建LLM应用程序的主要方法：
入门套件（llama-index）：这个选项提供了一个方便的起点，包括核心的LlamaIndex包和预先配置的集成。对于那些希望快速开始的人来说，这是理想的选择。
定制方法（llama-index-core）：为了更细粒度的控制，您可以安装核心的LlamaIndex库，并从LlamaHub选择您需要的特定集成包。这种方法允许您选择您喜欢的LLM、嵌入方法和向量存储提供者。

LlamaHub拥有超过300个与核心库无缝协作的集成包，为您的应用程序开发提供了高度的灵活性和定制性。
LlamaIndex Python库使用清晰的命名约定。包含"core"的导入表示正在使用核心包，而没有"core"的导入则表示是一个集成包。

四 LlamaIndex教程：设置

本教程将指导您设置LlamaIndex，以便构建由大型语言模型（LLM）提供支持的应用程序。
安装 我们将使用流行的包管理器pip安装LlamaIndex：

pip install llama-index

注意：LlamaIndex在安装过程中可能会下载额外的文件（如NLTK或HuggingFace包）以实现其功能。环境变量LLAMA_INDEX_CACHE_DIR允许您控制这些文件的存储位置。

如果您更喜欢从源代码构建LlamaIndex，请参阅官方文档以获取详细说明。
OpenAI环境设置
默认情况下，LlamaIndex使用OpenAI模型gpt-3.5-turbo进行文本生成，使用text-embedding-ada-002进行检索和嵌入任务。您需要将OpenAI API密钥设置为环境变量，才能利用这些模型。
获取API密钥的方法如下：
登录您的OpenAI帐户。
导航到API密钥部分并创建一个新的密钥。
将新创建的API密钥设置为名为OPENAI_API_KEY的环境变量。
提示：LlamaIndex不仅限于OpenAI模型。您可以探索其他LLM，但它们需要特定于其提供商的额外环境变量和令牌。

五 LlamaIndex用例

LlamaIndex的应用包括构建信息丰富的聊天机器人、从复杂数据源回答问题以及从未结构化格式中提取结构化信息。现在让我们更详细地探索这些应用 -

1.提示词prompt

LlamaIndex提供了一个用户友好的接口，用于构建简单和复杂的提示，确保您充分利用LLM交互。它可以帮助您创建整个应用程序或与其他模块集成提示词，以实现复杂的工作流程。例如，程序员可以创建提示，根据特定功能或任务生成代码片段。LlamaIndex可以帮助创建具有不同算法或数据结构的变体。

2. 问题解答（RAG）

LLM的一个常见用例是基于数据回答问题。这些数据可以是非结构化文档（PDF、HTML）或半/结构化格式。LlamaIndex提供了简单和先进的检索增强生成（Retrieval-Augmented Generation, RAG）技术，用于处理各种问题，涵盖不同数据量和类型。例如，医生可以使用LlamaIndex创建一个系统，分析患者的医疗记录和症状，以提出可能的诊断。

3. 聊天机器人

聊天机器人是另一种流行的LLM应用。与单一答案不同，聊天机器人处理多轮对话，寻求澄清或回答后续问题。LlamaIndex为您提供了构建知识增强聊天机器人和代理的工具。例如，一个教育平台可以创建一个聊天机器人，为学生个性化学习体验。

4. 结构化数据提取

LLM可以处理和转换大量非结构化数据为结构化格式。LlamaIndex通过允许LLM读取自然语言、识别关键细节（如姓名、日期等）并以其一致、结构化的格式返回，从而实现这一点，无论源格式如何。这对于聊天日志等非结构化源特别有用。提取的数据可以存储在数据库中或用于代码中自动化工作流程。例如，公司将其与SQL数据库集成，以实现对其数据的自然语言查询，使非技术用户更容易进行数据分析。

六 LlamaIndex与LangChain：关键比较

LlamaIndex专注于为LLM提供数据索引和检索，使其在文档搜索和内容生成等任务上特别擅长。通过高效地访问和处理数据，LlamaIndex帮助LLM在这些领域提供卓越的结果。该框架提供了一个用户友好的接口来查询LLM，使得构建面向搜索的应用程序更加容易。
另一方面，LangChain采取了一种更通用的方法。它提供了一个全面的框架，用于构建各种LLM应用程序，包括聊天机器人、文本摘要和代码分析等功能。LangChain的灵活性源于其与各种数据源和API的集成能力。此外，它还允许高度定制，使开发人员能够根据特定需求量身定制应用程序。

七 使用ProjectPro构建有影响力的LLM应用程序！

在LLM开发的世界中，这是一个充满活力和激动人心的空间，虽然本指南已经为您提供了基础知识，但没有什么比实践经验更重要的了。但是，当您开始构建时，真正的魔力就会发生。在等待完美想法出现之前，不要等待开始构建。从小处着手，创建一个简单的LLM应用程序，并将其推出。构建、测试和改进您创作的过程将是最有价值的 学习经验。ProjectPro可以帮助您通过实用的企业级LLM项目来提升您的专业知识。随着您获得经验，您将培养出编写有效提示和策略性地利用响应模式的直觉。这将帮助您构建有影响力的LLM应用程序。
除了LLM项目，ProjectPro还提供了超过250个已解决、行业级的数据科学、大数据、云计算、生成性AI等领域的项目存储库。每个项目都配有逐步视频解释和可下载的源代码。因此，通过进一步练习这些项目来加速您的学习，并产生真正的差异。实验、探索，准备好对您可以使用LlamaIndex创造的事物感到惊讶。一个LLM应用程序的世界正在等待被构建，您拥有实现它的资源。++

八 FAQs on Llamaindex

LlamaIndex是开源的吗？
是的。LlamaIndex是一个用于大型语言模型（LLM）应用程序的开源数据框架。
LlamaIndex用于什么？
LlamaIndex用于将数据连接到生成性AI。它帮助您加载数据、建立索引并查询数据，以便与LLM一起使用。
何时使用LlamaIndex？
考虑在需要高效数据管理和检索的应用程序中使用LlamaIndex，这些应用程序利用LLM并要求高效的数据管理和检索。

原文地址：https://www.projectpro.io/article/llamaindex/1022#mcetoc_1i08f2uran