探索VikingDB：管理和查询大规模嵌入向量的利器-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/144336549

探索VikingDB：管理和查询大规模嵌入向量的利器

引言

在机器学习和深度学习的世界中，大规模的嵌入向量成为信息表示的主流方式之一。如何高效地存储、索引和管理这些嵌入向量是一个重要的课题。VikingDB正是为了满足这样的需求而生。本文将介绍如何使用VikingDB及其在集成到现有应用程序中的几种关键功能。

主要内容

1. 安装和准备

使用VikingDB需要安装langchain-community和volcengine。确保VikingDB实例已启动并运行。

!pip install -qU langchain-community
!pip install --upgrade volcengine

此外，还需要获取VikingDB API Key，用于身份验证。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

2. 数据加载与预处理

使用TextLoader加载文档，并使用RecursiveCharacterTextSplitter进行文本分块。这样便于后续嵌入向量的生成和存储。

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = TextLoader("./test.txt")
documents = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=10, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

3. 嵌入向量生成与存储

利用OpenAIEmbeddings生成嵌入向量，并将其存储到VikingDB。

from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores.vikingdb import VikingDB, VikingDBConfig

embeddings = OpenAIEmbeddings()

db = VikingDB.from_documents(
    docs,
    embeddings,
    connection_args=VikingDBConfig(
        host="{AI_URL}",  # 使用API代理服务提高访问稳定性
        region="region",
        ak="ak",
        sk="sk",
        scheme="http"
    ),
    drop_old=True,
)

4. 查询与检索

使用VikingDB进行相似性搜索，以快速从存储的嵌入向量中检索相关信息。

query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)

print(docs[0].page_content)

5. 使用VikingDB Collections进行数据分区

可以在同一个VikingDB实例中创建不同集合来存储不同类型的文档，以便于维护上下文。

db = VikingDB.from_documents(
    docs,
    embeddings,
    connection_args=VikingDBConfig(
        host="{AI_URL}",  # 使用API代理服务提高访问稳定性
        region="region",
        ak="ak",
        sk="sk",
        scheme="http"
    ),
    collection_name="collection_1",
    drop_old=True,
)

# 检索已存储的集合
db = VikingDB.from_documents(
    embeddings,
    connection_args=VikingDBConfig(
        host="{AI_URL}",  # 使用API代理服务提高访问稳定性
        region="region",
        ak="ak",
        sk="sk",
        scheme="http"
    ),
    collection_name="collection_1",
)