使用 OpenSearch 和 SelfQueryRetriever 实现高效的电影检索-优快云博客

在这篇文章中，我们将探讨如何使用 OpenSearch 的向量存储和 SelfQueryRetriever 来实现高效的电影信息检索。OpenSearch 是一个开源的分布式搜索和分析引擎，基于 Apache Lucene，能够实现强大的搜索、分析和观察功能。

## 技术背景介绍

OpenSearch 是一个开源搜索和分析引擎，允许用户构建高效的查询和信息检索系统。它提供了灵活的方式来处理和存储数据。在这里，我们将使用 OpenSearch 向量存储和 LangChain 的 SelfQueryRetriever 来构建一个示例应用，演示如何进行复杂的查询操作。

## 核心原理解析

SelfQueryRetriever 是一个用于自动查询构造的检索器，通过提供自然语言查询来自动生成结构化查询。我们将使用 OpenSearch 提供的向量存储功能来存储和检索电影信息。

## 代码实现演示

首先，我们需要安装必要的 Python 包：

```shell
%pip install --upgrade --quiet lark opensearch-py

然后，我们创建一个 OpenSearch 向量存储，并填充一些电影数据：

import getpass
import os

from langchain_community.vectorstores import OpenSearchVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    Document(
        page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...",
        metadata={"year": 2010, "director": "Christopher Nolan", "rating": 8.2},
    ),
    # 更多电影文档...
]

vectorstore = OpenSearchVectorSearch.from_documents(
    docs,
    embeddings,
    index_name="opensearch-self-query-demo",
    opensearch_url="http://localhost:9200",  # 使用本地 OpenSearch 实例
)

接下来，我们实例化 SelfQueryRetriever，并进行一些复杂查询：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    AttributeInfo(
        name="year",
        description="The year the movie was released",
        type="integer",
    ),
    # 更多属性信息...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

# 示例查询：查找恐龙相关电影
retriever.invoke("What are some movies about dinosaurs")

# 示例查询：查找评分超过8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

应用场景分析

这种检索方式可用于多种应用场景，包括电影推荐系统、内容过滤器和动态信息检索。它能够处理复杂条件查询和自然语言处理，适合灵活的数据检索需求。

实践建议

在使用 SelfQueryRetriever 时，确保定义清晰的元数据字段，使检索器能够准确理解数据。
为提高查询效率和准确性，建议使用 OpenSearch 的向量存储功能来管理大型数据集。
定期维护和更新数据，以确保检索结果的相关性和准确性。

结束语：如果遇到问题欢迎在评论区交流。

---END---