使用Rockset实现实时向量搜索与分析：LangChain环境下的实践指南

最新推荐文章于 2026-01-05 17:14:56 发布

原创最新推荐文章于 2026-01-05 17:14:56 发布 · 484 阅读

CC 4.0 BY-SA版权

文章标签：

老铁们，今天我们来聊一聊如何利用Rockset在LangChain中实现实时向量搜索和分析。Rockset是一款为云端构建的实时搜索和分析数据库，能够以低延迟、高并发的方式处理大规模的搜索查询。Rockset的独特之处在于其Converged Index™技术，它能够高效存储向量嵌入，因此在处理实时更新的流式数据时显得尤为强大。

技术背景介绍

Rockset不仅支持元数据过滤，还能进行实时数据摄取处理。我们将在这篇文章中运用Rockset作为LangChain中的向量存储器，帮助大家快速上手。使用之前，确保你已经拥有一个Rockset账户并获取了API密钥，注册可以从Rockset官网开始。先安装langchain-community库来启用与Rockset的整合服务：

pip install -qU langchain-community

原理深度解析

在Rockset中创建一个集合(例如langchain_demo)，将写入API设为数据源。运用以下数据摄取转换以标记嵌入字段，并优化性能和存储：

SELECT _input.* EXCEPT(_meta), 
VECTOR_ENFORCE(_input.description_embedding, 1536, 'float') as description_embedding 
FROM _input

这里我们使用了OpenAI的text-embedding-ada-002模型生成向量嵌入，长度为1536。

实战代码演示

定义关键变量

首先，我们需要设置环境变量来连接Rockset API：

import os
import rockset

ROCKSET_API_KEY = os.environ.get("ROCKSET_API_KEY")
ROCKSET_API_SERVER = rockset.Regions.usw2a1
rockset_client = rockset.RocksetClient(ROCKSET_API_SERVER, ROCKSET_API_KEY)

COLLECTION_NAME = "langchain_demo"
TEXT_KEY = "description"
EMBEDDING_KEY = "description_embedding"

准备文档

接着，加载文档并分割文本：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Rockset
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

插入文档

使用OpenAI的嵌入模型生成嵌入并插入到Rockset：

embeddings = OpenAIEmbeddings()
docsearch = Rockset(
    client=rockset_client,
    embeddings=embeddings,
    collection_name=COLLECTION_NAME,
    text_key=TEXT_KEY,
    embedding_key=EMBEDDING_KEY,
)

ids = docsearch.add_texts(
    texts=[d.page_content for d in docs],
    metadatas=[d.metadata for d in docs],
)

搜索相似文档

执行相似性搜索并输出结果：

query = "What did the president say about Ketanji Brown Jackson"
output = docsearch.similarity_search_with_relevance_scores(
    query, 4, Rockset.DistanceFunction.COSINE_SIM
)
print("output length:", len(output))
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

带过滤条件搜索

output = docsearch.similarity_search_with_relevance_scores(
    query,
    4,
    Rockset.DistanceFunction.COSINE_SIM,
    where_str="{} NOT LIKE '%citizens%'".format(TEXT_KEY),
)
print("output length:", len(output))
for d, dist in output:
    print(dist, d.metadata, d.page_content[:20] + "...")

删除插入的文档（可选）

如果需要删除文档，使用文档ID来执行：

docsearch.delete_texts(ids)

优化建议分享

在使用Rockset进行高并发查询时，建议结合代理服务以提高稳定性。这波操作可以说是相当丝滑，尤其在处理动态数据时，Rockset的实时处理能力确实不容小觑。

补充说明和总结

今天我们成功地创建了一个Rockset集合，插入了带有OpenAI嵌入的文档，并进行了相似性搜索。对于想要进一步掌握向量存储概念的老铁们，可以关注相关指南保持更新。说白了，用Rockset结合大模型实现搜索分析确实方便又高效。

今天的技术分享就到这里，希望对大家有帮助。开发过程中遇到问题也可以在评论区交流~

—END—