BPR：高效的开源神经检索模型

BPR：高效的开源神经检索模型

bpr Binary Passage Retriever (BPR) - an efficient passage retriever for open-domain question answering 项目地址: https://gitcode.com/gh_mirrors/bpr2/bpr

项目介绍

Binary Passage Retriever（BPR）是一款针对开放域问答的高效神经检索模型。它将学习哈希技术整合进Dense Passage Retriever（DPR）中，使用紧凑的二进制代码而非连续向量来表示段落嵌入。这一创新不仅显著降低了内存占用，而且在Natural Questions和TriviaQA数据集上的准确性上没有损失。

BPR最初是为了提高Sōseki问答系统的计算效率而开发的，该系统参加了NeurIPS 2020 EfficientQA竞赛的6GB以下系统赛道。更多技术细节，可以参考我们发表的ACL 2021论文。

项目技术分析

BPR的核心是结合了学习哈希技术，使得段落嵌入的表示更加紧凑高效。通过将DPR中的连续向量转换为二进制代码，BPR大大减少了所需的存储空间，同时保持了检索的准确性。这种技术对于需要处理大量数据且对存储和计算资源有限制的应用场景来说尤为重要。

在技术实现上，BPR通过训练 BiEncoder 来学习如何将段落和问题编码为二进制代码，然后使用Faiss等索引库来快速进行检索。这种方法在保证检索效果的同时，显著提高了检索速度，使得BPR在开放域问答场景中具有明显优势。

项目技术应用场景

BPR适用于开放域问答系统，这类系统通常需要处理大量的非结构化文本数据，并且对检索速度和准确性有严格的要求。以下是一些典型的应用场景：

1. 在线问答服务：为用户提供快速准确的答案。
2. 智能客服：自动从知识库中检索信息，快速响应用户咨询。
3. 搜索引擎优化：改善搜索引擎的检索效率，提升用户体验。

项目特点

1. 高效性：BPR通过使用二进制代码代替连续向量，大幅减少了内存占用和检索时间。
2. 准确性：即使在降低内存占用的情况下，BPR仍然保持了与DPR相当的检索准确性。
3. 易于使用：BPR提供了完善的文档和示例代码，使得用户可以轻松地部署和使用。
4. 灵活性：支持在多种数据集上进行训练和部署，适应不同的应用需求。

以下是BPR与DPR在不同指标下的对比数据：

| 模型 | Faiss索引类型 | 索引大小 | Top 1 | Top 20 | Top 100 | 查询时间 | | ------ | ------------ | -------- | ----- | ------ | ------- | -------- | | 新BPR | 二进制 flat | 2GB | 49.0 | 80.5 | 87.0 | 85ms | | 新BPR | 二进制 hash | 2GB | 49.0 | 80.5 | 87.0 | 38ms | | 新DPR | Flat | 61GB | 52.5 | 81.3 | 87.3 | 457ms | | 新DPR | HNSW | 141GB | 52.2 | 81.0 | 86.8 | 2ms | | 新DPR | HNSW-SQ | 36GB | 52.0 | 80.9 | 86.9 | 2ms |

从数据中可以看出，BPR在保持检索效果的同时，显著降低了索引大小和查询时间。

总结来说，BPR是一个高效且准确的开源神经检索模型，适用于多种开放域问答场景，为开发者提供了一种新的选择。通过使用BPR，开发者可以构建出更加高效、准确的问答系统，提升用户体验。

bpr Binary Passage Retriever (BPR) - an efficient passage retriever for open-domain question answering 项目地址: https://gitcode.com/gh_mirrors/bpr2/bpr