用LangChain优化你的AI应用：深入理解向量存储和检索器-优快云博客

引言

在AI驱动的应用程序中，数据的高效检索扮演着至关重要的角色。特别是在利用大型语言模型（LLM）进行推理时，检索增强生成（RAG）技术已经成为一种强大的工具。本指南将带你深入了解LangChain中的向量存储和检索器抽象，它们如何支持从（向量）数据库和其他数据源进行数据检索。

主要内容

文档 (Documents)

LangChain实现了一个Document抽象，用于表示文本单元及其关联的元数据。这些元数据可以包含文档来源、与其他文档的关系等信息。通常，一个Document对象表示较大文档的一个片段。

from langchain_core.documents import Document

documents = [
    Document(
        page_content="Dogs are great companions, known for their loyalty and friendliness.",
        metadata={"source": "mammal-pets-doc"},
    ),
    Document(
        page_content="Cats are independent pets that often enjoy their own space.",
        metadata={"source": "mammal-pets-doc"},
    )
]

向量存储 (Vector Stores)

向量存储是一种常见的存储和搜索非结构化数据的方式。LangChain的VectorStore对象提供了添加文本和Document对象的方法，并使用相似度度量进行查询。在这里，我们使用Chroma作为示例，它包括内存中实现。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(
    documents,
    embedding=OpenAIEmbeddings(),
)  # 使用API代理服务提高访问稳定性

检索器 (Retrievers)

LangChain的检索器是可运行的，可通过标准方法与LangChain表达式语言链集成。通过指定检索方法，可以轻松创建运行实例。以下是如何利用相似性搜索方法创建检索器的示例：

from langchain_core.documents import Document
from langchain_core.runnables import RunnableLambda

retriever = RunnableLambda(vectorstore.similarity_search).bind(k=1)
retriever.batch(["cat", "shark"])

代码示例

下面是一个完整的代码示例，展示了如何使用LangChain的向量存储和检索器实现简单查询：

import os
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

os.environ["OPENAI_API_KEY"] = "your_openai_api_key"

llm = ChatOpenAI(model="gpt-4o-mini")
message = """
Answer this question using the provided context only.

{question}

Context:
{context}
"""

prompt = ChatPromptTemplate.from_messages([("human", message)])

response = prompt.invoke("tell me about cats")

print(response.content)