[解锁数据访问新方式：使用Scikit-learn实现高效向量存储和检索]-优快云博客

本文链接：https://blog.youkuaiyun.com/ahdfwcevnhrtds/article/details/144336322

解锁数据访问新方式：使用Scikit-learn实现高效向量存储和检索

在机器学习和数据科学的日常工作中，高效的数据存储和检索是非常关键的。本文将介绍如何使用Scikit-learn和Langchain社区库中的SKLearnVectorStore来存储和检索文档的向量表示，并通过OpenAI的嵌入技术进行增强。

引言

随着机器学习模型和自然语言处理技术的进步，创建和管理大规模的数据集变得尤为重要。为了提高数据处理的效率，向量存储技术应运而生。本文将介绍SKLearnVectorStore的用法，它使用Scikit-learn实现，能够将向量存储在多种格式中（如JSON、BSON或Apache Parquet），并支持持久化操作。

主要内容

环境准备

首先需要安装必要的库：

pip install --upgrade --quiet scikit-learn
pip install --upgrade --quiet langchain-community  # 安装langchain社区集成库
pip install --upgrade --quiet bson  # 如果需要使用BSON格式
pip install --upgrade --quiet pandas pyarrow  # 如果需要使用Parquet格式

API密钥配置

要使用OpenAI的嵌入功能，首先需要获取OpenAI API密钥，可以在OpenAI平台申请：

import os
from getpass import getpass

os.environ["OPENAI_API_KEY"] = getpass("Enter your OpenAI key:")

加载文档和创建向量存储

我们将利用Langchain社区库加载文档，并使用SKLearnVectorStore创建向量存储：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import SKLearnVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("path/to/your/document.txt")
documents = loader.load()

# 分割文档
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 获取嵌入
embeddings = OpenAIEmbeddings()

# 创建和持久化向量存储
import tempfile
persist_path = os.path.join(tempfile.gettempdir(), "example.parquet")

vector_store = SKLearnVectorStore.from_documents(
    documents=docs,
    embedding=embeddings,
    persist_path=persist_path,  # 使用API代理服务提高访问稳定性
    serializer="parquet",
)

# 执行查询
query = "What did the president say about Ketanji Brown Jackson"
docs = vector_store.similarity_search(query)
print(docs[0].page_content)

持久化存储和加载

一旦创建了向量存储，我们可以对其进行持久化和卸载：

# 持久化存储
vector_store.persist()
print("Vector store was persisted to", persist_path)

# 加载存储
vector_store2 = SKLearnVectorStore(
    embedding=embeddings, persist_path=persist_path, serializer="parquet"
)
docs = vector_store2.similarity_search(query)
print(docs[0].page_content)