大语言模型-文本检索任务基准 BEIR

最新推荐文章于 2025-01-02 14:46:18 发布
最新推荐文章于 2025-01-02 14:46:18 发布
阅读量1.2k 收藏 8
点赞数 19
分类专栏： 大语言模型 知识基础 NLP基础 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42045968/article/details/140567623
版权

BEIR

(A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models)
文本检索任务的基准，使用18 个数据集为检索系统的零样本评估提出了一个标准化基准， BEIR 基准上在9个不同领域的检索任务评估 10 种不同的检索方法。

九个不同领域的检索任务，如下:

  • 1、事实核查（Fact checking）
  • 2、引文预测（Citation prediction）
  • 3、重复问题检索（Duplicate question retrieval）
  • 4、论据检索（Argument retrieval）
  • 5、新闻检索（News retrieval）
  • 6、问题回答（Question Answering）
  • 7、推文检索（Tweet retrieval）
  • 8、生物医学检索（Bio-Medical IR）
  • 9、实体检索（Entity retrieval）
    在这里插入图片描述

BEIR来评估来自五大架构的十种不同的检索方法，其中的五大架构如下：

  • 1、词法&#x
最低0.47元/天 解锁文章
搜索与问答——【NeurIPS 2021】BEIR：信息检索模型零样本评估的异构基准
11-25 1456
论文中，作者提出了一种无需训练数据，即可学习（或适应）非对称语义搜索模型的方法。在非对称语义搜索中，用户提供一个（简短的）查询，如一些关键字或问题。然后我们想要检索提供答案的更长的文本段落。
大语言模型-基础及拓展应用
weixin_42045968的博客
07-17 549
基础模型（transformer、bert、gpt等） 句子向量（simcse、retroMAE、sbert等） 文档解析（openpaser、fitz等） 向量库（faiss、es等）
利用大模型实时提取和检索多模态数据探索-利用 Indexify 进行文档分析
优快云DN的博客
09-05 2175
Indexify 是一个开源的导入和提取引擎，旨在为实时 LLM 应用提供支持。它能够以极低的延迟从非结构化来源进行实时数据提取。它还支持可应用于各种用例的多模态提取工作流程，包括从文档中提取实体和嵌入、音频转录、摘要以及从图像甚至视频中检测对象。它还支持高效地索引、存储和检索数据，使其成为可扩展实时 RAG 系统的工具。
详细介绍文本检索基准BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models
zag666的博客
01-01 4842
本文提出了文本检索任务的基准，使用了来自不同领域和任务复杂性的 18 个现有数据集，并涵盖了用于展示检索和排名性能的各种模型，尤其是在迁移学习环境中。这项工作的主要贡献是为检索系统的零样本评估提出了一个标准化基准。它在各种任务和领域上测试检索系统。以前的（标准化的）基准测试包括一个狭窄的评估设置，无论是关于他们的任务（例如 MultiReQA 只专注于问答）还是关于他们的检索语料库（例如 KILT 只是从维基百科检索）。BEIR 克服了这个缺点，为新的检索方法提供了一个易于使用的评估框架。
千言数据集：文本相似度——数据读取部分
zxc123qwer的博客
01-11 1063
以下学习笔记来源于 Coggle 30 Days of ML（22年1&2月） 链接：https://coggle.club/blog/30days-of-ml-202201 比赛链接：https://aistudio.baidu.com/aistudio/competition/detail/45/0/task-definition 赛题介绍 文本相似度旨在识别两段文本在语义上是否相似。文本相似度在自然语言处理领域是一个重要研究方向，同时在信息检索、新闻推荐、智能客服等领域都发挥重要作用，具有很高
用通俗易懂的方式讲解：大模型 RAG 中的3个高级检索技巧
2201_75499313的博客
01-20 2292
我们介绍的这些检索技术有助于提高文档的相关性。但是这方面的研究还正在进行，还有很多其他方法例如,利用真实反馈数据对嵌入模型进行微调；直接微调LLM以使其检索能力最大化(RA-DIT)；探索更复杂的嵌入适配器使用深度神经网络而不是矩阵；深度和智能分块技术来自 Ahmed Besbes。
一文彻底搞懂大模型 - RAG（检索、增强、生成）
2301_76168381的博客
01-02 1256
RAG？RAG（Retrieval-Augmented Generation，检索增强生成），RAG。
利用大型语言模型优化文本嵌入实践
fengbeely的博客
07-16 786
使用大型语言模型改进文本嵌入，第二部分。
信息检索（30）：BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models
zhuzaiyebol的博客
04-19 1877
数据集：18个基线：10个（词汇、稀疏、密集、后期交互、重排序）效果：1）后期交互和重排序，以高计算成本实现高性能（ zero-shot 设置 ）2）密集和稀疏计算效率高，但效果差（泛化能力改进空间大）现有的神经信息检索（IR）模型经常在同质和狭窄的环境中进行研究，这极大地限制了对其分布外（OOD）泛化能力的了解。为了解决这个问题，并方便研究人员广泛评估其模型的有效性，我们引入了 Benchmarking-IR (BEIR)，这是一种用于信息检索的强大且异构的评估基准。
大模型+检索增强（RAG、Atlas 和 REPLUG）
ZhengrongYue的博客
09-19 1万+
大模型+检索增强/图谱增强（RAG、Atlas 和 REPLUG）
大模型之RAG-关键字检索的认识与实战（混合检索进阶储备）
2401_85325726的博客
07-24 1969
首先，RAG不是一个单项技术，它是一个流水线，行话叫pipeline。只有对流水线上的每一步骤都进行精细打磨，最后才能出来效果，我们的目标就是努力使每个环节都达到尽可能准确本文我们对关键字检索做了讲解以及从实战的角度做了讲解。首先我们应该认识到RAG的核心在于外部知识库，这个外部知识库甚至可以是基于关系型数据库的sql查询。而本文基于ES的关键字检索也是一个比较传统和基础的检索方式，他比较简单，也有它适用的场景。
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
热门推荐
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
大模型RAG技术：构建高效、可信赖的知识检索系统
2401_82469710的博客
06-25 1579
RAG 是解决其中一些挑战的一种方法。它会重定向 LLM，从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出，并且用户可以深入了解 LLM 如何生成响应。
使用LlamaIndex评估BEIR基准数据集
ppoojjj的博客
07-06 633
在AI领域，评估信息检索（IR）方法的性能是一项关键任务。本文将介绍如何使用LlamaIndex评估BEIR（Benchmark for Evaluating Information Retrieval）基准数据集。BEIR是一个异构基准，包含多种IR任务，并提供一个统一的框架来评估检索方法的效果。我们将使用all-MiniLM-L6-v2句子转换器嵌入模型来测试nfcorpus数据集，并设置retriever的top_k值为30。
AI大模型：RAG检索增强实现流程
m0_59235945的博客
08-12 702
RAG典型流程包括索引、检索和生成。但为了提升问答精度，往往还需要针对查询问题和检索后的文档进行处理。想象一下，你有一个装满了各种书籍和文件的大书架。当你想找到某个问题的答案时，你首先需要知道从哪里开始找，这就是RAG模型的第一步——索引。：就像你在书架上给每本书都贴上了标签，这样你一眼就知道哪本书可能包含你想要的信息。在RAG模型中，索引就是帮助模型快速找到可能包含答案的文档。：当你找到标签后，下一步就是从书架上找到那本书。在RAG模型中，检索就是根据索引找到相关的文档或信息片段。
【学习日记2】BIRD数据集
qq_51700285的博客
08-01 3719
text-to-SQL 的解析，旨在将自然语言的问题转换成可执行的 SQL，近年来受到越来越多的关注，特别是，GPT-4和 Claude-2在这项任务中已经显示出令人印象深刻的成果。然而，目前大多数流行的基准测试，例如 Spider 和 WikiSQL，专注于具有少量数据库的值和数据库模式，这在学术研究与实际应用之间留下了差距。
大模型中RAG模型的检索过程是如何实现的？（附最佳实践资料）
goodxianping的专栏
12-20 520
当用户提出问题时，检索器会利用嵌入模型将用户问题也转换为向量，并在向量数据库中查找最相似的文档。：首先，需要将外部知识库中的文档转换为计算机能够理解的向量形式。通过上述步骤，RAG模型能够从大量的数据中检索出与用户查询最相关的信息，为生成过程提供支持，使得生成的回答更加准确和丰富。：最终，检索器会返回与用户问题最相关的文档或文本块，这些内容将作为上下文信息提供给生成模型。：在初步检索后，可能会使用重排序模型对检索结果进行相关性排序，以选取最相关的文本块。
Beir: 开源文本检索评估框架，推动信息检索技术的发展
gitblog_00005的博客
03-26 660
Beir: 开源文本检索评估框架，推动信息检索技术的发展 beirA Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your models across 15+ diverse IR datasets.项目地址:https://gitcode.com/gh_mirrors/be/beir 是一个精...
BEIR开源项目常见问题解决方案
gitblog_00737的博客
12-11 497
BEIR开源项目常见问题解决方案 beir A Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your models across 15+ diverse IR datasets. ...
BGE-RERANK-V2-M3介绍
最新发布
03-23
### BGE-RERANK-V2-M3 的详细介绍 #### 模型概述 BGE-RERANK-V2-M3 是由智源研究院开发的一系列通用语义向量模型的一部分，属于 BGE (Beijing Academy of Artificial Intelligence General Embedding) 家族[^2]。此版本继承了之前版本的优势，并进行了多项改进，特别是在重排序能力和多模态支持方面。 #### 主要特点 1. **精准重排序** 基于相似度得分，BGE-RERANK-V2-M3 能够对初步检索出的文档进行重新排序，将最相关的文档置于更靠前的位置，从而显著提高用户的查询体验[^3]。 2. **开源特性** 作为一款开源模型，开发者可以自由部署和调整该模型以满足特定需求。这种灵活性使得它成为许多实际应用场景的理想选择[^1]。 3. **混合检索能力** 最新版本扩展了“文本+图片”的混合检索功能，这使其能够更好地处理多媒体信息，适应现代互联网环境下的多样化数据形式。 4. **高效性能** 在 BEIR 基准测试中表现出色，证明了其在多种任务上的优越表现。 #### 使用方法 为了使用 BGE-RERANK-V2-M3，通常需要以下几个步骤： 1. **安装依赖库** 需要先安装必要的 Python 库来加载和运行模型。可以通过 pip 或 conda 来完成这一过程。以下是示例命令： ```bash pip install sentence-transformers faiss-cpu ``` 2. **加载模型** 利用 `sentence-transformers` 库可以从 Hugging Face 加载预训练好的模型实例。代码如下所示： ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('BAAI/bge-reranker-v2-m3') ``` 3. **执行重排序操作** 给定一组候选文档及其对应的初始分数，可以利用模型计算新的排序顺序。下面是一个简单的例子： ```python queries = ["如何制作披萨"] docs = [ {"text": "准备面团、酱料和配料"}, {"text": "烤箱温度设置为200°C"} ] scores = [0.7, 0.9] reranked_scores = model.rerank(queries=queries, documents=[d["text"] for d in docs], initial_scores=scores) print(reranked_scores) ``` #### 实际案例 假设有一个电子商务平台希望改善商品推荐系统的准确性，则可引入 BGE-RERANK-V2-M3 对搜索结果列表实施二次优化。具体而言，在初次筛选得到若干可能匹配项之后再借助本模型进一步评估它们与目标关键词之间的关联程度，最终呈现给顾客更为贴合预期的商品选项集合。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值