LangChain与LlamaIndex，RAG框架该怎么选？

最新推荐文章于 2025-05-06 11:45:13 发布

我爱学大模型

最新推荐文章于 2025-05-06 11:45:13 发布

阅读量634

点赞数 5

CC 4.0 BY-SA版权

文章标签： langchain 人工智能大模型微调 AI大模型 RAG LlamaIndex AI

本文链接：https://blog.youkuaiyun.com/python1234_/article/details/145545749

介绍

检索增强生成（RAG）将信息检索与生成模型相结合，使其成为问答、摘要和其他自然语言处理（NLP）任务等应用程序的强大技术。为了实现RAG，当今使用的两个最流行的框架是LangChain和LlamaIndex。这两个框架都旨在处理文档摄取、拆分、索引和链接在一起的步骤，以实现无缝的RAG工作流程。但哪一个适合您的项目呢？

在本文中，我们将介绍RAG的核心组件：加载器（Loaders）、拆分器（Splitters）、索引（Indexing）和链（Chains），比较它们在LangChain和LlamaIndex中的工作方式。每个步骤都包含代码示例，以提供实践理解。

1. LangChain与LlamaIndex中的加载器

加载器对于从各种来源（本地文件、API、数据库）加载文档至关重要。LangChain和LlamaIndex都为常见文档类型提供了内置加载器。

LangChain中的加载器

LangChain有各种加载器，可以加载文本、PDF甚至网页。代码示例：在LangChain中加载文本文档

from langchain.document_loaders import TextLoader
loader = TextLoader("sample.txt")
documents = loader.load()
print(documents[0].page_content)

LangChain加载器返回Document对象列表，然后可以进一步处理该列表。

LlamaIndex中的加载器

LlamaIndex（以前的GPT Index）具有类似的加载文档的方法，并支持Pandas DataFrames等其他格式。代码示例：在LlamaIndex中加载文本文档

from llama_index import SimpleDirectoryReader
loader = SimpleDirectoryReader('path/to/docs')
documents = loader.load_data()
print(documents[0].text)

在LlamaIndex中，加载器也会返回Document对象的列表，但结构可能与LangChain略有不同，具体取决于加载器。

2. LangChain与LlamaIndex中的拆分器

拆分器有助于将大型文档分解为较小的块，以确保它们符合GPT或BERT等模型的标记限制。

LangChain中的拆分器

LangChain的拆分器称为TextSplitters，允许您自定义文本的拆分方式——按字符、单词或句子。代码示例：在LangChain中拆分文本

from langchain.text_splitter import CharacterTextSplitter
splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = splitter.split_documents(documents)
print(chunks[0].page_content)

在这里，文档被拆分为1000个字符的块，连续块之间有200个字符的重叠。

LlamaIndex中的拆分器

LlamaIndex使用TokenTextSplitter根据令牌计数拆分文档，确保块符合模型的令牌限制。代码示例：在LlamaIndex中拆分文本

from llama_index import TokenTextSplitter
splitter = TokenTextSplitter(chunk_size=1000)
chunks = splitter.split(documents)
print(chunks[0].text)

在LlamaIndex中，您可以指定要包含在每个块中的令牌数量，从而提供对块大小的精细控制。

3. LangChain与LlamaIndex中的索引

索引是RAG系统的核心。它允许根据用户查询快速高效地检索相关块。

LangChain中的索引

LangChain的VectorStoreIndex用于从文档嵌入中创建索引，从而支持基于相似性搜索的检索。代码示例：LangChain中的索引

from langchain.vectorstores import FAISS
from langchain.embeddings.openai import OpenAIEmbeddings
embedding_model = OpenAIEmbeddings()
index = FAISS.from_documents(chunks, embedding_model)

在这里，LangChain创建了一个FAISS索引，用于使用文档嵌入进行快速相似性搜索。

LlamaIndex中的索引

LlamaIndex通过其GPTTreeIndex简化了索引，该索引使用树状结构进行高效检索。代码示例：在LlamaIndex中建立索引

from llama_index import GPTTreeIndex
index = GPTTreeIndex(documents)
query_engine = index.as_query_engine()

在LlamaIndex中，GPTTreeIndex创建了允许复杂查询和高效检索的分层结构。

4. LangChain与LlamaIndex中的链

RAG中的链是指将检索和生成相结合的操作序列。LangChain和LlamaIndex都允许您链接组件，例如检索后跟生成模型。

LangChain中的链

LangChain允许灵活的链，支持具有不同组件的复杂工作流，例如用于将语言模型与其他任务相结合的LLMChain。代码示例：LangChain中的检索增强生成链

from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
llm = OpenAI()
qa_chain = RetrievalQA(llm=llm, retriever=index.as_retriever())
result = qa_chain.run("What is the content of the document?")
print(result)

LangChain的RetrievalQA将文档检索与语言生成相结合，创建了RAG工作流。

LlamaIndex中的链

LlamaIndex的查询引擎提供了类似的方法，它结合了检索和语言模型生成。代码示例：LlamaIndex中的检索增强生成链

response = query_engine.query("What is the content of the document?")
print(response)

LlamaIndex抽象了query方法中的大部分复杂性，使实现RAG变得更加容易，而不需要像LangChain那样进行大量定制。

何时为RAG选择LangChain或LlamaIndex

在LangChain和LlamaIndex之间进行选择以进行检索增强生成（RAG）取决于项目的复杂程度、所需的灵活性以及每个框架的具体功能。让我们分解一下何时应该选择一个而不是另一个，以及实际示例来帮助阐明每个框架的优势和局限性。

1. 控制和定制

LangChain提供了对RAG管道中不同组件的更精细控制。它允许您通过将语言模型、检索机制和自定义逻辑等不同部分链接在一起来构建高度灵活的工作流。如果您的应用程序涉及各种类型的数据源（例如文本、API、PDF），并且您需要处理不同的检索策略，那么LangChain的灵活性将非常有用。示例：假设您正在构建一个多模态RAG系统，其中一些查询需要PDF中的信息，而另一些则需要Web抓取和API访问。使用LangChain，您可以链接多个加载器，为每种类型使用不同的检索器，并组合结果。LangChain中复杂工作流的代码示例：

from langchain.chains import SequentialChain
from langchain.llms import OpenAI
from langchain.document_loaders import WebPageLoader, TextLoader
from langchain.vectorstores import FAISS
pdf_loader = TextLoader("docs/sample.pdf")
web_loader = WebPageLoader(url="https://example.com")
documents = pdf_loader.load() + web_loader.load()
embedding_model = OpenAIEmbeddings()
index = FAISS.from_documents(documents, embedding_model)
llm = OpenAI()
qa_chain = RetrievalQA(llm=llm, retriever=index.as_retriever())
response = qa_chain.run("What are the key points in the PDF and website?")
print(response)

在这里，LangChain无缝集成不同文档源和链检索与生成的能力非常适合此类用例。

另一方面，LlamaIndex更直接，并且围绕更简单的工作流程进行结构化。在处理较小的范围（例如基于文本的文档或分层文档结构）时，它非常有效。如果您的用例围绕文本密集型数据展开，或者您正在寻找具有最少设置的快速实现，LlamaIndex可以简化该过程。示例：对于只需要对结构化文档（例如，法律文件、医疗报告）执行RAG的项目，LlamaIndex可以用最少的配置快速完成工作。LlamaIndex中简单工作流的代码示例：

from llama_index import SimpleDirectoryReader, GPTTreeIndex
loader = SimpleDirectoryReader('docs/')
documents = loader.load_data()
index = GPTTreeIndex(documents)
query_engine = index.as_query_engine()
response = query_engine.query("Summarize the legal document.")
print(response)

此示例说明了LlamaIndex处理分层文档结构的便利性，专注于快速设置，而无需广泛自定义每个步骤。

2. 集成和生态系统支持

当您需要更广泛的集成支持时，LangChain会大放异彩。它具有适用于各种矢量数据库（FAISS、Pinecone、Chroma）、语言模型（OpenAI、GPT-4、Anthropic’s Claude）和API（Hugging Face、Cohere）的内置连接器。这使得LangChain在涉及复杂工作流或集成不同类型的语言模型和检索系统的应用程序方面具有高度的通用性。示例：例如，如果您需要在OpenAI的GPT-4和Hugging Face的BERT之间切换以执行RAG工作流程中的不同任务，那么LangChain的多LLM和多检索器支持是一个很大的优势。代码示例：在LangChain中集成多个LLM

from langchain.chains import SimpleSequentialChain
from langchain.llms import OpenAI, HuggingFaceHub
gpt_chain = LLMChain(llm=OpenAI(model="gpt-4"), prompt="What is AI?")
bert_chain = LLMChain(llm=HuggingFaceHub(model="bert-large-uncased"), prompt="Translate the response.")
chain = SimpleSequentialChain(chains=[gpt_chain, bert_chain])
result = chain.run("What is the future of AI?")
print(result)

在这种情况下，LangChain允许您在同一个管道中轻松地在模型之间切换。

LlamaIndex虽然健壮，但缺乏LangChain的广泛集成能力。但是，如果您的需求侧重于快速高效的文档摄取和查询（不需要多个检索模型或API），LlamaIndex提供了一种可靠、简化的方法。

3. 复杂的查询和检索

LangChain更适合检索细微且需要自定义逻辑的情况，例如根据数据类型路由查询、使用混合搜索（将关键字搜索与向量相似性相结合）或集成检索后排名系统。LangChain允许您使用其高级工具（如MultiRetriever）和生成模型的自定义提示来定义更复杂的检索链。示例：考虑这样一个场景：您希望将基于关键字的法律文档检索与基于嵌入的科学论文检索相结合。LangChain允许您根据文档类型将查询路由到相应的检索器。代码示例：LangChain中的自定义检索

from langchain.retrievers.multi_retriever import MultiRetriever
from langchain.retrievers import FAISSRetriever, KeywordRetriever
keyword_retriever = KeywordRetriever(documents=legal_documents)
embedding_retriever = FAISSRetriever(index=scientific_index)
retriever = MultiRetriever(retrievers={
    'legal': keyword_retriever,
   'science': embedding_retriever
})
response = retriever.retrieve("What are the recent changes in contract law?")
print(response)

LlamaIndex为更简单的任务提供更有限但足够的查询处理，例如在文档中查找相关部分或总结文本。其基于树的索引对于具有清晰层次结构的文档非常有效。示例：对于像导航复杂合同这样的用例，其中条款是分层组织的，LlamaIndex的GPTTreeIndex表现出色。代码示例：LlamaIndex中基于树的检索

from llama_index import GPTTreeIndex
documents = SimpleDirectoryReader('contracts/').load_data()
index = GPTTreeIndex(documents)
response = index.query("What are the termination clauses?")
print(response)

LlamaIndex的基于树的结构使您能够在大型结构化文档中执行目标检索。