基于 Infinity 的多路召回评测

Infinity 的最新版本实现了有史以来最全的混合搜索方案，包含向量搜索、全文搜索、稀疏向量搜索，以及张量搜索，并且提供了 3 种融合重排序手段：RRF，Weighted Sum，以及 ColBERT Reranker。那么这些搜索和方案，在实际中使用的效果如何呢？本文来一探究竟。

我们采用了 MLDR 数据集进行评测。MLDR 是 MTEB 【参考文献 1】用来评测 embedding 模型质量的 benchmark 集，其中 MLDR 是其中一个数据集，全称为 Multi Long Document Retrieval，一共包含 20 万长文本数据。评测采用 BGE-M3【参考文献 2】作为 Embedding 模型，因为它不仅能生成稠密向量，还能输出稀疏向量。评测脚本也放到了 Infinity 仓库【参考文献 3】。

评测一：将 20万 MLDR 数据分别用 BGE-M3 生成稠密向量和稀疏向量，并插入到 Infinity 数据库中，数据库包含3列，分别保存原始文本，向量，以及稀疏向量，并分别构建相应全文索引、向量索引、以及稀疏向量索引。先进行简单混合搜索，采用 RRF 重排序方案， 评测指标采用 nDCG@10。其他参数：Top N = 1000 ，查询有 800 条，平均每个查询大约在 10 个 token 左右。

可以看到，3路召回效果最好，2路次之，单路最差，这跟 IBM Research 在其 Blended RAG 【参考文献 4】中的结果一致。在单路评测中，排名最高的是 BM25 全文搜索，这跟 BGE-M3 在其论文【参考文献 2】中给出的结果并不一致，如下图所示，根据 BGE-M3 的结果， BM25 跟稠密向量类似，都属于查询质量较低的。我们查看了评测代码，发现 BGE-M3