使用腾讯云VectorDB进行自查询信息检索的实战指南-优快云博客

本文链接：https://blog.youkuaiyun.com/qahaj/article/details/146220658

在当今的数据密集型环境中，处理和分析多维向量数据变得尤为重要。腾讯云VectorDB提供了一种企业级分布式数据库服务，专门用于存储、检索和分析多维向量数据。本文将带您了解如何在腾讯云VectorDB中实现自查询检索器，并通过示例代码演示实际操作。

技术背景介绍

多维向量数据的存储和检索一直是数据科学中的一个挑战。向量数据库(Vector Database)如Tencent Cloud VectorDB简化了这一过程，特别适用于需要高效处理和查询复杂数据结构的应用。

核心原理解析

自查询检索器(Self-Query Retriever)允许我们根据文档的元数据和内容进行智能检索。这一技术的核心在于利用语言模型和数据库存储的强大结合，以更智能和精准的方式获取信息。

代码实现演示

要开始使用腾讯云VectorDB，我们首先需要创建一个数据库实例并将数据插入其中。以下代码片段展示了如何实现这一过程。

首先，确保安装了所需的库：

%pip install --upgrade --quiet tcvectordb langchain-openai tiktoken lark

配置腾讯云VectorDB并插入数据

from langchain_community.vectorstores.tencentvectordb import (
    ConnectionParams,
    MetaField,
    TencentVectorDB,
)
from langchain_core.documents import Document
from tcvectordb.model.enum import FieldType

# 定义元数据字段
meta_fields = [
    MetaField(name="year", data_type="uint64", index=True),
    MetaField(name="rating", data_type="string", index=False),
    MetaField(name="genre", data_type=FieldType.String, index=True),
    MetaField(name="director", data_type=FieldType.String, index=True),
]

# 准备文件数据
docs = [
    Document(
        page_content="The Shawshank Redemption is a 1994 American drama film written and directed by Frank Darabont.",
        metadata={
            "year": 1994,
            "rating": "9.3",
            "genre": "drama",
            "director": "Frank Darabont",
        },
    ),
    # 更多电影信息...
]

# 创建数据库实例并插入数据
vector_db = TencentVectorDB.from_documents(
    docs,
    None,
    connection_params=ConnectionParams(
        url="http://10.0.X.X",
        key="eC4bLRy2va******************************",
        username="root",
        timeout=20,
    ),
    collection_name="self_query_movies",
    meta_fields=meta_fields,
    drop_old=True,
)

创建自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

# 定义元数据字段的信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="director", description="The name of the movie director", type="string"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="string"),
]

# LLM配置
llm = ChatOpenAI(temperature=0, model="gpt-4", max_tokens=4069)

# 创建自查询检索器实例
retriever = SelfQueryRetriever.from_llm(
    llm, vector_db, "Brief summary of a movie", metadata_field_info, verbose=True
)

# 使用检索器进行查询
results = retriever.invoke("movies about a superhero")
for doc in results:
    print(doc.page_content, doc.metadata)