使用LangChain实现高效数据检索：深入理解向量存储和检索器_使用langchain 里的检索器和vectorstore 请实现对es向量库的检索-优快云博客

本文链接：https://blog.youkuaiyun.com/aGRGWRF/article/details/144565098

引言

在现代的AI应用中，特别是那些需要结合大语言模型（LLM）进行推理的场景下，数据检索扮演了至关重要的角色。LangChain提供的向量存储（Vector Store）和检索器（Retriever）抽象，使得复杂数据的检索和处理变得更加灵活和高效。在这篇文章中，我们将介绍LangChain中这些强大工具的基本概念、实现方法，以及它们在实际应用中的潜在挑战与解决方案。

主要内容

文档（Documents）

LangChain的文档抽象化为一个单元的文本及其关联的元数据。每个文档对象都有两个主要属性：

page_content: 字符串形式的文档内容。
metadata: 包含文档相关信息的字典，比如文档来源等。

from langchain_core.documents import Document

documents = [
    Document(
        page_content="Dogs are great companions, known for their loyalty and friendliness.",
        metadata={"source": "mammal-pets-doc"},
    ),
    # 更多文档...
]

向量存储（Vector Stores）

向量存储是一种用于存储和搜索非结构化数据的方法。通过将文本数据转换为数值向量，可以利用向量相似性进行高效检索。LangChain提供了与不同向量存储技术的集成，其中一些是基于云的，也有一些可以在本地运行。

以下是使用Chroma和OpenAI嵌入向量初始化向量存储的示例：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(
    documents,
    embedding=OpenAIEmbeddings(),
)

检索器（Retrievers）

检索器是LangChain中用于从向量存储中提取数据的组件。它们可以在LangChain表达语言中直接使用，使复杂的链式调用变得更加简单。以下是使用similarity_search方法创建一个简单检索器的示例：

from typing import List
from langchain_core.documents import Document
from langchain_core.runnables import RunnableLambda

retriever = RunnableLambda(vectorstore.similarity_search).bind(k=1)
retriever.batch(["cat", "shark"])

代码示例

下面展示了一个完整的示例，通过一个检索器构建一个简单的RAG（检索增强生成）应用：

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

llm = ChatOpenAI(model="gpt-4o-mini")

message = """
Answer this question using the provided context only.

{question}

Context:
{context}
"""

prompt = ChatPromptTemplate.from_messages([("human", message)])

rag_chain = {"context": retriever, "question": RunnablePassthrough()} | prompt | llm

response = rag_chain.invoke("tell me about cats")
print(response.content)