在Infinispan中实现向量搜索的实战指南-优快云博客

本文链接：https://blog.youkuaiyun.com/bBADAS/article/details/146194067

Infinispan是一个开源的键值数据网格，支持单节点和分布式操作。自15.x版本起，Infinispan开始支持向量搜索，这为实现复杂的搜索功能提供了强有力的支持。在本篇文章中，我们将介绍如何在Infinispan中配置和实现向量搜索。

技术背景介绍

Infinispan的向量搜索功能使得我们在进行文本相似性搜索时更加高效。借助HuggingFace的嵌入模型，我们可以轻松地对文本进行编码，并将其存储在Infinispan中进行后续的搜索操作。

核心原理解析

向量搜索的核心在于将文本表示为向量，通过计算这些向量之间的距离来判断相似性。Infinispan提供了一个灵活的存储解决方案，使我们能够高效地管理和搜索这些向量数据。

代码实现演示

下面我们将通过一个实例来展示如何实现这个功能。

1. 安装必要的Python库

!pip install sentence-transformers langchain langchain_core langchain_community

2. 设置Infinispan环境

首先，我们需要下载示例数据文件和配置Infinispan。

%%bash
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

然后，我们创建Infinispan的配置文件：

%%bash
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

启动Infinispan Docker容器：

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config  -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

3. 加载文本数据

import csv
import gzip

texts = []
metas = []
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    spamreader = csv.reader(csvfile, delimiter=",", quotechar='"')
    for row in spamreader:
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        if len(texts) >= 5000:
            break

4. 初始化嵌入模型并填充向量库

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import InfinispanVS

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

ispnvs = InfinispanVS.from_texts(texts, hf, metas)

5. 实现文本相似性搜索

def print_docs(docs):
    for i, res in enumerate(docs):
        print(f"----{i + 1}----")
        print(f"TITLE: {res.metadata['title']}")
        print(res.page_content)

docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)