BM25-Sparse（BM25S）快速入门指南和技术文档

BM25-Sparse（BM25S）快速入门指南和技术文档

bm25s BM25S is an ultra-fast lexical search library that implements BM25 using scipy 项目地址: https://gitcode.com/gh_mirrors/bm/bm25s

安装指南

核心依赖安装

你可以通过pip轻松安装bm25s库：

pip install bm25s

高级功能安装

为了充分利用.stemming进行词干提取以提高检索效果，可以安装额外依赖项：

pip install bm25s[full] PyStemmer jax[cpu]

这里PyStemmer用于词干提取，而jax则用于提升部分操作的速度。

使用说明

快速启动

bm25s旨在简化文本检索任务，下面是基本用法示例：

import bm25s

# 示例语料库
corpus = [
    "猫是喜欢咕噜的猫科动物。",
    "狗，人类的好朋友，爱玩耍。",
    "鸟，一种美丽的会飞的动物。",
]

# 创建BM25模型并索引语料库
retriever = bm25s.BM25()
retriever.index(bm25s.tokenize(corpus))

# 查询
query = "鱼像猫一样咕噜吗？"
query_tokens = bm25s.tokenize(query)

# 获取查询结果
results, scores = retriever.retrieve(query_tokens, k=2)
for rank, (doc_id, score) in enumerate(zip(results[0], scores[0]), start=1):
    print(f"排名{rank} (得分: {score:.2f}): 文档{doc_id}")

索引与保存

你还可以保存和加载你的索引以便重用：

# 保存索引
retriever.save("我的BM25S索引")

# 加载索引
loaded_retriever = bm25s.BM25.load("我的BM25S索引")

API使用文档

初始化BM25模型

retriever = bm25s.BM25(k1=值, b=值, method="方法名")

其中k1和b是BM25算法的参数，method可选值包括不同的BM25变体如"robertson", "atire", "bm25l", "bm25+", 和 "lucene"。

索引语料库

retriever.index(tokenized_corpus)

查询与返回结果

results, scores = retriever.retrieve(query_tokens, corpus=原始语料库, k=2)

自定义设置

• 可定制token化过程，包括停用词列表和词干处理。
• 支持内存映射(mmap=True)加载大型索引以节省内存。

项目特点

• 速度：利用稀疏矩阵加速计算，显著超越同类库。
• 兼容性：仅依赖Numpy和Scipy，易集成到Python生态系统。
• 灵活性：支持多种BM25实现变体，自定义IDF方法。
• 效率：提供存储分数以加快查询响应时间。
• 简洁性：简单的API设计让新手也能快速上手。
• 扩展性：无缝整合Hugging Face模型仓库，便于分享模型。

记住，使用过程中查看官方文档和GitHub仓库中的实例代码将给你更深入的理解和应用启示。通过这些步骤，你应该能够高效地利用bm25s进行文本检索任务了。

bm25s BM25S is an ultra-fast lexical search library that implements BM25 using scipy 项目地址: https://gitcode.com/gh_mirrors/bm/bm25s