使用SingleStoreDB进行文本相似性匹配

原创于 2025-07-09 15:05:11 发布 · 292 阅读

CC 4.0 BY-SA版权

文章标签：

SingleStoreDB 是一种高性能的分布式 SQL 数据库，可以部署在云端和本地环境中。它提供了矢量存储和矢量函数，包括dot_product和euclidean_distance，因此支持需要文本相似性匹配的 AI 应用。本文将展示如何使用 SingleStoreDB 创建一个检索器。

技术背景介绍

在文本相似性匹配中，矢量化是核心步骤，即将文本转换为多维矢量，以便进行相似度计算。SingleStoreDB 的矢量存储功能极大简化了这一过程，使得开发者能够有效地进行大规模文本匹配任务。

核心原理解析

SingleStoreDB 的矢量函数支持快速计算文本之间的相似度，通过将矢量化后的文本与数据库中的矢量执行高效的距离计算，比如点积或欧几里得距离。这对于需要高性能和大规模处理的 AI 应用非常有利。

代码实现演示

我们将使用 Python 客户端连接 SingleStoreDB，并演示如何通过矢量存储创建一个文本检索器：

import getpass
import os
import singlestoredb

# 安装 SingleStoreDB Python 连接器
%pip install --upgrade --quiet singlestoredb

# 设置 OpenAI API Key 以使用 OpenAIEmbeddings
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 导入相关模块
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import SingleStoreDB
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 使用 OpenAIEmbeddings 进行文本矢量化
embeddings = OpenAIEmbeddings()

# 设置数据库连接 URL 环境变量
os.environ["SINGLESTOREDB_URL"] = "root:pass@localhost:3306/db"

# 将文档加载到矢量存储中
docsearch = SingleStoreDB.from_documents(
    docs,
    embeddings,
    table_name="notebook",  # 自定义表名
)

# 从矢量存储创建检索器
retriever = docsearch.as_retriever(search_kwargs={"k": 2})

# 使用检索器进行搜索
result = retriever.invoke("What did the president say about Ketanji Brown Jackson")
print(docs[0].page_content)  # 打印结果