LlamaIndex入门指南：构建你的第一个LLM应用

原创于 2025-12-01 18:58:24 发布 · 1k 阅读

CC 4.0 BY-SA版权

文章标签：

摘要

随着大语言模型（LLM）技术的快速发展，越来越多的开发者希望将LLM集成到自己的应用中。然而，如何有效地将私有数据与LLM结合，构建出功能强大的AI应用，仍然是许多开发者面临的挑战。LlamaIndex作为一个专门为LLM应用设计的数据框架，提供了完整的解决方案。本文将带你从零开始，使用LlamaIndex构建你的第一个LLM应用，帮助你快速上手这一强大的工具。

正文

1. 什么是LlamaIndex？

LlamaIndex（原名GPT Index）是一个专门用于构建LLM应用的数据框架。它提供了一套完整的工具链，帮助开发者：

数据连接：支持多种数据源的接入，包括API、PDF、文档、SQL数据库等
数据结构化：提供多种索引结构，便于LLM高效使用数据
高级检索接口：提供强大的查询引擎，支持复杂的数据检索和问答
易于集成：可以轻松与外部应用框架集成，如LangChain、Flask、Docker等

LlamaIndex的核心理念是通过将私有数据与LLM结合，增强LLM的知识和推理能力，从而构建出更智能、更专业的AI应用。

2. 安装LlamaIndex

在开始使用LlamaIndex之前，我们需要先安装相关依赖。LlamaIndex支持多种安装方式，我们推荐使用pip进行安装：

# 安装核心包和常用集成
pip install llama-index

如果你需要更精细的控制，也可以只安装核心组件，然后根据需要添加特定的集成包：

# 只安装核心组件
pip install llama-index-core

# 根据需要安装特定集成，例如OpenAI LLM支持
pip install llama-index-llms-openai
pip install llama-index-embeddings-openai

3. 核心概念介绍

在深入实践之前，我们需要了解LlamaIndex的几个核心概念：

3.1 Document（文档）

Document是LlamaIndex中表示数据的基本单位。它可以是任何文本内容，如PDF文件、网页内容、数据库记录等。

3.2 Node（节点）

Node是Document的分块表示。为了更好地处理长文档，LlamaIndex会将Document切分为多个Node，每个Node包含一部分文本内容和元数据。

3.3 Index（索引）

Index是数据的结构化表示，用于高效检索。LlamaIndex提供了多种索引类型，如VectorStoreIndex、TreeIndex、KeywordTableIndex等，适用于不同的应用场景。

3.4 Query Engine（查询引擎）

Query Engine是用于查询索引的接口。它接收用户查询，检索相关数据，并生成最终的回答。

4. 构建第一个LLM应用

让我们通过一个具体的例子来演示如何使用LlamaIndex构建LLM应用。我们将创建一个能够回答关于指定文档内容的问答系统。

4.1 准备数据

首先，我们需要准备一些数据。创建一个名为[data.txt]的文本文件，内容如下：

LlamaIndex是一个专门为大型语言模型（LLM）应用设计的数据框架。
它提供了数据连接、数据结构化和检索查询等功能。
LlamaIndex支持多种数据源，包括PDF、Word文档、网页、数据库等。
通过LlamaIndex，开发者可以轻松构建知识问答系统、聊天机器人等LLM应用。
LlamaIndex的核心组件包括Document、Node、Index和Query Engine。

4.2 编写代码

接下来，我们编写Python代码来构建问答系统：

# 导入必要的模块
import os
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

# 设置OpenAI API密钥（如果使用OpenAI模型）
# os.environ["OPENAI_API_KEY"] = "your-api-key-here"

# 加载数据
# SimpleDirectoryReader可以读取指定目录下的所有文档
documents = SimpleDirectoryReader("./data").load_data()

# 创建索引
# VectorStoreIndex是最常用的索引类型，基于向量搜索
index = VectorStoreIndex.from_documents(documents)

# 创建查询引擎
query_engine = index.as_query_engine()

# 进行查询
response = query_engine.query("LlamaIndex是什么？")
print("问题: LlamaIndex是什么？")
print(f"回答: {response}")

response = query_engine.query("LlamaIndex支持哪些数据源？")
print("\n问题: LlamaIndex支持哪些数据源？")
print(f"回答: {response}")

response = query_engine.query("LlamaIndex的核心组件有哪些？")
print("\n问题: LlamaIndex的核心组件有哪些？")
print(f"回答: {response}")

4.3 运行结果

运行上述代码，你将看到类似以下的输出：

问题: LlamaIndex是什么？
回答: LlamaIndex是一个专门为大型语言模型（LLM）应用设计的数据框架。

问题: LlamaIndex支持哪些数据源？
回答: LlamaIndex支持多种数据源，包括PDF、Word文档、网页、数据库等。

问题: LlamaIndex的核心组件有哪些？
回答: LlamaIndex的核心组件包括Document、Node、Index和Query Engine。

5. 使用不同的LLM

LlamaIndex支持多种LLM，不仅限于OpenAI。下面我们展示如何使用其他LLM：

5.1 使用本地LLM（如Llama.cpp）

from llama_index.core import Settings
from llama_index.llms.llama_cpp import LlamaCPP
from llama_index.llms.llama_cpp.llama_utils import (
    messages_to_prompt,
    completion_to_prompt,
)

# 配置本地LLM
llm = LlamaCPP(
    model_path="./models/llama-2-7b-chat.Q4_K_M.gguf",
    temperature=0.1,
    max_new_tokens=256,
    context_window=3900,
    generate_kwargs={},
    model_kwargs={"n_gpu_layers": 1},
    messages_to_prompt=messages_to_prompt,
    completion_to_prompt=completion_to_prompt,
    verbose=True,
)

# 设置LLM
Settings.llm = llm

# 其余代码与之前相同
documents = SimpleDirectoryReader("./data").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()

5.2 使用Hugging Face模型

from llama_index.core import Settings
from llama_index.llms.huggingface import HuggingFaceLLM

# 配置Hugging Face模型
llm = HuggingFaceLLM(
    model_name="meta-llama/Llama-2-7b-chat-hf",
    tokenizer_name="meta-llama/Llama-2-7b-chat-hf"
)

# 设置LLM
Settings.llm = llm

6. 数据持久化

在实际应用中，我们通常需要将索引持久化到磁盘，避免每次运行都重新构建索引：

# 构建索引后保存到磁盘
index = VectorStoreIndex.from_documents(documents)
index.storage_context.persist("./storage")

# 从磁盘加载已保存的索引
from llama_index.core import StorageContext, load_index_from_storage

storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)
query_engine = index.as_query_engine()

7. 高级功能示例

LlamaIndex还提供了许多高级功能，以下是几个常见用例：

7.1 自定义提示词

from llama_index.core import PromptTemplate

# 自定义查询提示词
custom_prompt = PromptTemplate(
    "以下是一些背景信息：\n"
    "---------------------\n"
    "{context_str}\n"
    "---------------------\n"
    "根据以上信息，用中文回答以下问题：{query_str}\n"
)

query_engine = index.as_query_engine(text_qa_template=custom_prompt)

7.2 使用回调监控执行过程

from llama_index.core import CallbackManager
from llama_index.core.callbacks import TokenCountingHandler

# 添加回调管理器来监控token使用情况
callback_manager = CallbackManager([TokenCountingHandler()])
index = VectorStoreIndex.from_documents(
    documents, 
    callback_manager=callback_manager
)