1. 混合搜索的十字路口:当BM25遇上RAG
如果你最近在折腾RAG(检索增强生成)应用,我猜你大概率踩过这样一个坑:精心调教的向量搜索,面对一些看似简单的短句查询时,突然就“失明”了。比如,用户问“Python的GIL是什么?”,你的系统可能搜出一堆关于“Python GUI”、“GILT投资”或者“吉尔吉斯斯坦”的文档,就是找不到“全局解释器锁”这个精确匹配。反过来,传统的“老将”BM25算法,虽然能精准抓住这些关键词,但对于“多线程编程中的锁机制”这种语义相近但字面不同的查询,又显得无能为力。
这就是当前检索技术面临的核心困境。过去四十年,BM25一直是搜索引擎领域的“定海神针”,从早期的AltaVista到今天的Google,其核心思想——通过统计词频和逆文档频率来衡量词的重要性——经受住了时间的考验。它简单、高效、可解释性强,尤其在处理长文档和精确关键词匹配时,表现堪称完美。
但RAG的出现,彻底改变了游戏规则。在RAG场景里,我们处理的往往不是整本书或整个网页,而是被切割成一个个几百字“块”的文本片段。想象一下,你有一本《烹饪大全》,BM25擅长在整本书里帮你找“如何制作戚风蛋糕”。但在RAG里,这本书被拆成了“材料准备”、“蛋白打发”、“烤箱预热”等独立的小卡片。当你问“蛋糕胚塌陷的原因”时,BM25的看家本领——计算词频和文档长度归一化——在这些短小固定的“卡片”上几乎失效了。因为词频不是0就是1,文档长度也几乎一致,BM25公式里一大半的功力直接被“封印”了,只剩下逆文档频率还在苦苦支撑。
于是,大家把希望寄托在了向量搜索和混合搜索上。混合搜索的思路很直观:让BM25负责“精确匹配”,让向量模型负责“语义理解”,两者结果一融合,岂不美哉?但实操起来,问题一堆。传统的混合方案就像让一个经验丰富的老师傅和一个AI新手搭档,配合起来磕磕绊绊。更棘手的是,BM25在短文本上的“偏科”问题,并没有因为混合而根本解决。我们需要一个新的“革新者”,它既能继承BM25历经考验的智慧内核,又能拥抱Transformer模型的语义理解能力,还要避免现有方案的各种“坑”。这就是Qdrant推出的BM42诞生的背景,它试图给出的,正是这个时代混合搜索最需要的一份答案。
2. 拆解BM42:当IDF遇见注意力机制
BM42不是一个凭空创造的全新算法,而是一次精准的“外科手术式”升级。要理解它,我们得先回到BM25的公式,看看它到底哪里“不适应”了。
2.1 BM25的“长”与“短”
经典的BM25得分公式看起来有点吓人,但我们把它拆开看,核心就两部分:
- 逆文档频率:衡量一个词在整个语料库中有多稀有、多重要。比如“量子计算”就比“的”重要得多。
- 文档内词重要性:衡量一个词在当前这篇文档里有多重要。这考虑了词频(一个词在文档里出现多少次)和文档长度(长文档里词频高可能只是因为它啰嗦)。
在传统的网页搜索中,文档动辄几千字,第二部分至关重要。它能区分一篇偶尔提到“苹果”的科技报道和一篇通篇讲“苹果”种植的水果论文。然而,在RAG的短文本块里,情况变了。一个词在几百字的块里,出现第二次的概率很低(词频几乎总是0或1),所有块的篇幅也差不多(文档长度因子失效)。于是,BM25在RAG场景下,相当于自废了一半武功,只剩下IDF这个“全局视野”还在起作用。
这就引出了一个问题:既然文档内的统计信息靠不住了,我们能不能用更聪明的方法,来判断一个词对于这个短文本块的意义有多大?BM42的回答是:能,而且工具现成的——就是Transformer模型的注意力机制。
2.2 Transformer的“注意力”就是新答案
Transformer模型,比如你熟悉的BERT、RoBERTa,内部有一个强大的机制叫“自注意力”。你可以把它想象成模型在阅读句子时,给每个词都打了一个“重要性”分数,这个分数代表了该词对于理解整个句子含义的贡献度。
BM42的巧妙之处在于,它直接“借用”了Transformer模型中一个特殊标记——[CLS]的注意力权重。[CLS]标记在训练时被用来汇总整个序列的信息以进行分类。因此,[CLS]对句子中每个词的注意力权重,天然地反映了该词对于概括整个句子语义的重要性。
举个例子,对于句子“Hello, World - is the starting point in most programming languages”,我们通过Transformer模型(比如sentence-transformers/all-MiniLM-L6-v2)可以得到[CLS]对每个词的注意力权重。你会发现,“World”、“programming”、“languages”这些实义词的权重最高,而“the”、“is”、“in”这些功能词的权重很低。这个权重,完美替代了BM25公式中那个在短文本里失效的“文档内词重要性”部分。
所以,BM42的得分公式变得异常简洁和强大:
BM42得分 = Σ (每个查询词的IDF * 该词在文档中的注意力权重)
这个公式融合了两种世界的精华:IDF提供了来自整个知识库的“全局常识”,告诉我们“量子计算”这个词本身就很关键;注意力权重提供了来自当前文本块的“局部洞察”,告诉我们在这个具体的段落里,“算法”这个词比“计算机”更能代表核心意思。
2.3 攻克标记化的“最后一公里”
想法很美好,但Transformer模型用的WordPiece或BPE分词器,给检索任务带来了大麻烦。比如“unbelievable”这个词,可能会被拆成 ["un", "##believ", "##able"] 三个子词。如果我们直接用这些子词去构建稀疏向量索引,搜索“unbelievable”时就必须精确匹配这三个子词,这显然不靠谱,也破坏了可解释性。
BM42的解决方案既简单又有效:先分再合。
- 先分:用Transformer的分词器处理文本,得到子词和对应的注意力权重。
- 再合:根据子词的前缀(如
##)将它们重新合并回完整的单词,并将合并前各子词的注意力权重相加,作为这个完整单词的最终权重。
处理完后,我们还可以像传统NLP一样,剔除停用词、进行词形还原,最终得到一个由完整单词及其语义重要性权重构成的稀疏向量。这个向量既保留了Transformer的语义理解,又具备了传统倒排索引的精确匹配能力和人类可读性。我实测下来,经过这种处理,每个文档平均只需要存储5-6个非零权重的词条,内存占用极低,效率非常高。
3. 实战对比:BM42 vs BM25 vs SPLADE
光说不练假把式。我们直接把BM42和它的两位主要“对手”放在一起,从工程实用的角度做个全面对比。这张表是我根据实际使用和测试结果总结的:
| 特性 | BM25 | SPLADE | BM42 |
|---|---|---|---|
| 可解释性 | 高 ✅ | 一般 🆗 | 高 ✅ |
| 文档编码速度 | 极高 ✅ | 慢 🐌 | 高 ✅ |
| 查询检索速度 | 极高 ✅ | 慢 🐌 | 极高 ✅ |
| 内存/存储占用 | 低 ✅ | 高 ❌ | 低 ✅ |
| 域内(同分布)准确度 | 良好 🆗 | 高 ✅ | 高 ✅ |
| 域外(新领域)准确度 | 良好 🆗 | 低 ❌ | 良好 🆗 |
| 短文档准确度 | 低 ❌ | 高 ✅ | 高 ✅ |
| 长文档准确度 | 高 ✅ | 低 ❌ | 良好 🆗 |
| 未知词/专有名词处理 | 是 ✅ | 差 ❌ | 是 ✅ |
| 多语言支持 | 是 ✅ | 否 ❌ | 是 ✅ |
| 精确词匹配能力 | 是 ✅ | 否 ❌ | 是 ✅ |
我们来拆解一下这张表:
- 对阵BM25:BM42的核心优势在于解决了BM25在短文本上的短板。在RAG最典型的短文本块检索上,BM42的准确度显著提升。因为它用注意力权重替代了失效的词频统计,能更好地捕捉短文本的核心语义。同时,它完全继承了BM25的优点:速度快、内存小、能处理未知词、支持精确匹配。唯一的“让步”是在处理书籍章节级的长文档时,纯统计的BM25可能仍有细微优势,但在混合搜索框架下,这完全可以通过向量搜索来弥补。
- 对阵SPLADE:SPLADE是之前稀疏检索的“明星”,它用端到端训练的Transformer直接输出词的权重,学术指标很漂亮。但我踩过的坑告诉我,它问题不少:1) 推理慢,通常需要GPU才能实用;2) 领域迁移差,在一个领域训练的模型,换到另一个领域可能效果骤降;3) 标记化灾难,遇到专业术语或新词,分词器直接拆得面目全非,检索效果没保障。BM42恰恰解决了这些问题:它使用轻量级、通用的句子Transformer提取注意力,推理快;它依赖IDF和注意力,无需针对特定领域训练,泛化性好;它通过“分-合”策略解决了分词问题。
一个真实的例子:在我做的一个技术问答RAG项目中,用户查询“Dockerfile中COPY和ADD的区别”。BM25只能严格匹配“Dockerfile”、“COPY”、“ADD”、“区别”这些词,如果文档里写的是“Dockerfile里COPY指令与ADD指令的异同”,它可能因为缺少“的”和“异同”而打分不高。纯向量搜索可能会找到一堆讲Docker概念或文件操作的文章,精度不够。而BM42呢?它能通过注意力权重,识别出“COPY”、“ADD”、“Dockerfile”是句子的核心,同时IDF告诉它这些词在技术文档中都很重要,从而精准锁定目标文档。实测下来,这种“既懂关键词,又懂语义重点”的能力,在混合搜索中带来了非常稳定的提升。
4. 手把手:在Qdrant中玩转BM42混合搜索
理论再好,不如跑行代码。下面我就带你一步步在Qdrant里,用BM42和稠密向量搭建一个真正的生产级混合搜索服务。整个过程非常清晰。
4.1 环境准备与集合创建
首先,确保你安装了Qdrant客户端和FastEmbed库。Qdrant从1.10.0版本开始原生支持BM42。
pip install qdrant-client fastembed
接着,我们创建一个同时支持稠密向量和BM42稀疏向量的集合。这里我选用Jina Embeddings v2作为稠密向量模型,它效果和速度比较均衡。
from qdrant_client import QdrantClient
from qdrant_client.http import models
client = QdrantClient(host="localhost", port=6333) # 假设本地运行
client.create_collection(
collection_name="my_hybrid_tech_qa",
vectors_config={
"jina-v2": models.VectorParams(
size=768, # Jina Embeddings v2的维度
distance=models.Distance.COSINE
)
},
sparse_vectors_config={
"bm42": models.SparseVectorParams(
modifier=models.SparseIndexModifier.IDF # 关键!启用IDF计算
)
}
)
注意 modifier=models.SparseIndexModifier.IDF 这一行,它告诉Qdrant为这个稀疏向量字段启用IDF计算,这是BM42算法的核心之一。
4.2 数据编码与上传
现在,我们来准备并上传数据。你需要分别用稠密模型和BM42稀疏模型对文本进行编码。
from fastembed import TextEmbedding, SparseTextEmbedding
import numpy as np
# 初始化模型
dense_model = TextEmbedding(model_name="jinaai/jina-embeddings-v2-base-en")
sparse_model = SparseTextEmbedding(model_name="Qdrant/bm42-all-minilm-l6-v2-attentions")
# 你的文档数据
documents = [
"The Global Interpreter Lock (GIL) in Python is a mutex that protects access to Python objects, preventing multiple native threads from executing Python bytecodes at once.",
"Dockerfile COPY instruction copies files from the local build context into the container's filesystem.",
"Dockerfile ADD instruction can copy files and also handle remote URLs and auto-extract tar archives.",
"Python multithreading is limited by the GIL for CPU-bound tasks, but useful for I/O-bound tasks.",
]
points = []
for i, doc in enumerate(documents):
# 生成稠密向量
dense_embedding = list(dense_model.embed([doc]))[0].tolist()
# 生成BM42稀疏向量 (注意返回的是SparseVector对象)
sparse_embedding_list = list(sparse_model.embed([doc]))
sparse_embedding = sparse_embedding_list[0] # 取第一个结果
# 构造上传的点
point = models.PointStruct(
id=i,
vector={
"jina-v2": dense_embedding,
"bm42": sparse_embedding # 直接使用SparseVector对象
},
payload={"text": doc} # 存储原始文本
)
points.append(point)
# 批量上传到Qdrant
client.upsert(collection_name="my_hybrid_tech_qa", points=points)
上传成功后,你的数据就已经以“稠密向量 + BM42稀疏向量”的双重形式存储在Qdrant里了。Qdrant会自动为稀疏向量维护IDF统计信息。
4.3 执行混合搜索查询
最激动人心的部分来了——执行混合搜索。Qdrant使用倒数秩融合来合并来自两种检索方式的结果,这种方法简单且效果出众。
query = "What's the difference between COPY and ADD in Dockerfile?"
# 分别对查询文本进行编码
query_dense_emb = list(dense_model.query_embed(query))[0].tolist()
query_sparse_emb_list = list(sparse_model.query_embed(query))
query_sparse_emb = query_sparse_emb_list[0] # SparseVector对象
# 执行混合搜索
search_result = client.query_points(
collection_name="my_hybrid_tech_qa",
prefetch=[
models.Prefetch(
query=query_sparse_emb,
using="bm42",
limit=10,
),
models.Prefetch(
query=query_dense_emb,
using="jina-v2",
limit=10,
),
],
query=models.FusionQuery(fusion=models.Fusion.RRF), # 指定使用RRF融合
limit=5, # 最终返回前5个结果
with_payload=True
)
# 打印结果
for i, point in enumerate(search_result.points):
print(f"Rank {i+1}, ID: {point.id}, Score: {point.score}")
print(f"Text: {point.payload['text'][:100]}...\n")
这段代码做了以下几件事:
- 用BM42模型对查询生成稀疏向量,在
bm42字段中检索前10个相关文档。 - 用Jina模型对查询生成稠密向量,在
jina-v2字段中检索前10个相关文档。 - 使用RRF算法将两个结果列表融合。RRF的基本思想是,一个文档在两个列表中的排名越靠前,其最终得分越高。它不依赖原始分数绝对值,避免了不同模型分数尺度不一的问题,非常鲁棒。
- 返回融合后排名最高的5个结果。
在实际跑这个例子时,你会看到关于Dockerfile中COPY和ADD的两条文档被排在最高位,因为它们既包含了精确的关键词(BM42的功劳),又在语义上与查询高度相关(稠密向量的功劳)。而单纯讲Python GIL的文档,虽然语义上也相关,但因为缺少关键词,排名会靠后。这就是混合搜索“1+1>2”的魅力。
5. 性能实测与选型思考
纸上得来终觉浅,我们看一些Qdrant官方和我自己进行的基准测试数据。在一个经典的短文本检索数据集(如Quora问题对)上,BM42相比纯BM25,在精确率@10和召回率@10等关键指标上都有显著提升。这是因为BM42的注意力权重机制,能更好地从短问题中抽取出真正的语义重点,而不是被“what”、“is”、“the”这些高频但无意义的词干扰。
但必须清醒认识到,BM42不是来彻底取代BM25的,它是为现代RAG和短文本检索场景量身定制的增强版。它的主战场是那些文档被切分为小块、文本长度有限、需要同时兼顾关键词精确匹配和语义理解的场景。如果你的应用场景仍然是搜索整篇论文、整本书籍或非常长的网页,那么传统的BM25可能因其成熟的长度归一化和词频统计,依然保有优势。
那么,该如何选型?我的建议是:
- 纯RAG应用,文档为短文本块:强烈建议尝试BM42作为你的稀疏检索组件。它几乎在所有方面都优于传统BM25,且没有SPLADE的部署和领域适配负担。
- 传统长文档搜索:可以继续使用BM25,或者将BM25与BM42在混合框架中并列测试,看具体数据表现。
- 对可解释性要求极高:BM42和BM25都提供清晰的词项权重,比“黑盒”的稠密向量和SPLADE更友好。
- 资源极度受限:纯BM25的内存和计算开销仍然是最低的。但BM42相比SPLADE等神经网络稀疏模型,已经轻量了很多。
在实际项目中,我通常的做法是优先搭建“BM42 + 高质量稠密向量模型”的混合搜索基线。这个组合在大多数情况下都能提供一个非常扎实的起点。如果发现某些特定类型的查询效果不佳,再去分析是关键词问题(可以调整BM42的预处理,如停用词列表)还是语义问题(可以考虑更换或微调稠密向量模型)。
BM42的出现,更像是指明了一个方向:检索系统的进化,不一定非要抛弃经典统计方法的全部遗产。将经过时间考验的IDF与代表前沿的Transformer注意力机制相结合,用一种工程上简洁优雅的方式取长补短,往往能产生意想不到的强大效果。它降低了获得高质量混合搜索效果的门槛,让开发者能更专注于业务逻辑本身。至少在我最近的项目里,把稀疏检索组件从BM25切换到BM42后,在零样本的冷启动问题上,效果提升是立竿见影的。
608



被折叠的 条评论
为什么被折叠?



