使用MyScale向量数据库加速您的LLM应用

原创于 2025-03-13 05:08:22 发布 · 262 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #python

MyScale是一款集成的向量数据库，既可以通过SQL访问，也可以与LangChain结合使用。它支持多种数据类型和过滤函数，无论是扩展数据规模还是将系统扩展到更广的应用范围，它都能助力您的大型语言模型(LLM)应用。

在本文中，我们将演示如何将SelfQueryRetriever与MyScale向量存储结合使用的过程，并通过LangChain提供的功能扩展进行一些特别的处理。以下是MyScale的关键功能：

contain比较符：用于匹配列表中的任何元素。
timestamp数据类型：支持ISO格式或YYYY-MM-DD的日期时间匹配。
like比较符：用于字符串模式搜索。
任意函数支持：实现更复杂的过滤逻辑。

创建MyScale向量存储

MyScale已经被集成到LangChain中，因此您可以通过以下步骤创建自己的向量存储来支持自查询检索器。在开始之前，请确保安装了lark和clickhouse-connect：

%pip install --upgrade --quiet lark clickhouse-connect

在本教程中，我们将使用OpenAIEmbeddings。请确保您已经获得了一个有效的OpenAI API密钥以访问LLMs。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["MYSCALE_HOST"] = getpass.getpass("MyScale URL:")
os.environ["MYSCALE_PORT"] = getpass.getpass("MyScale Port:")
os.environ["MYSCALE_USERNAME"] = getpass.getpass("MyScale Username:")
os.environ["MYSCALE_PASSWORD"] = getpass.getpass("MyScale Password:")

from langchain_community.vectorstores import MyScale
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

创建示例数据

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"date": "1993-07-02", "rating": 7.7, "genre": ["science fiction"]},
    ),
    Document(
        page_content="Leo DiCaprio gets lost in a dream within a dream within a dream within a ...",
        metadata={"date": "2010-12-30", "director": "Christopher Nolan", "rating": 8.2},
    ),
    # 其他示例文档...
]

vectorstore = MyScale.from_documents(
    docs,
    embeddings,
)

创建自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import ChatOpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="电影的类型",
        type="list[string]",
    ),
    AttributeInfo(
        name="date",
        description="电影上映的日期",
        type="timestamp",
    ),
    # 其他属性定义...
]

document_content_description = "电影的简要总结"
llm = ChatOpenAI(temperature=0, model_name="gpt-4o")
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

使用示例

retriever.invoke("What are some movies about dinosaurs")
retriever.invoke("I want to watch a movie rated higher than 8.5")
retriever.invoke("Has Greta Gerwig directed any movies about women")
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")

自查询检索器与MyScale的结合能让您做得更多。通过设置enable_limit=True，您还可以控制要获取的文档数。

retriever = SelfQueryRetriever.from_llm(
    llm,
    vectorstore,
    document_content_description,
    metadata_field_info,
    enable_limit=True,
    verbose=True,
)

retriever.invoke("what are two movies about dinosaurs")