[探秘Pinecone向量数据库：从入门到精通]

最新推荐文章于 2025-04-25 18:55:20 发布

tt_jishu

最新推荐文章于 2025-04-25 18:55:20 发布

阅读量540

点赞数 5

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/144357693

探秘Pinecone向量数据库：从入门到精通

随着深度学习和自然语言处理的兴起，海量非结构化数据处理的需求变得日益迫切。Pinecone作为一款功能强大的向量数据库，提供了一种高效存储和检索这种数据的方法。在本文中，我们将探讨如何创建一个Pinecone索引并使用自查询检索器进行数据检索。

引言

Pinecone是一种专门的向量数据库，旨在高效存储和检索大规模的向量数据。本文旨在帮助您理解如何使用Pinecone与自查询检索器进行信息检索，包括创建索引和进行高级检索操作。

主要内容

创建Pinecone向量存储

为了开始使用Pinecone，我们首先需要创建一个向量存储，并用一些数据进行初始化。以下是一个包含电影简介的文档集合的示例。

首先，确保安装pinecone和其他必要的软件包：

%pip install --upgrade --quiet lark
%pip install --upgrade --quiet pinecone-notebooks pinecone-client==3.2.2

连接到Pinecone服务器并获取API密钥：

import os
from pinecone_notebooks.colab import Authenticate

Authenticate()
api_key = os.environ["PINECONE_API_KEY"]

注意：在某些地区，由于网络限制，您可能需要使用API代理服务，例如配置{AI_URL}，以提高访问稳定性。

然后，使用OpenAI的向量嵌入来创建索引：

from pinecone import Pinecone, ServerlessSpec
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_pinecone import PineconeVectorStore

embeddings = OpenAIEmbeddings()
index_name = "langchain-self-retriever-demo"
pc = Pinecone(api_key=api_key)

# 创建新索引
if index_name not in pc.list_indexes().names():
    pc.create_index(
        name=index_name,
        dimension=1536,
        metric="cosine",
        spec=ServerlessSpec(cloud="aws", region="us-east-1"),
    )

# 初始化文档集合
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": ["action", "science fiction"]},
    ),
    # 其他文档...
]
vectorstore = PineconeVectorStore.from_documents(docs, embeddings, index_name=index_name)

创建自查询检索器

接下来，我们实例化自查询检索器，自查询检索器允许我们通过自然语言查询进行数据检索。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 其他属性信息...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是使用自查询检索器进行数据检索的示例：

# 进行简单查询
retriever.invoke("What are some movies about dinosaurs")

# 使用过滤器进行查询
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 指定查询和过滤器
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 组合查询与过滤器
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")