关于信息检索评价TREC：session track 的说明

最新推荐文章于 2024-03-07 19:34:56 发布
原创 最新推荐文章于 2024-03-07 19:34:56 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#信息检索评价指标

本文介绍了TREC中的Session Track，详细解析了runID数据格式、Sessiontopicmap.txt与Sessionmaptxtmap.txt文件内容。此外，讨论了信息检索评价指标，如AP、MAP、ERR和NDCG，特别是NDCG@k的计算及其重要性。这些指标对于衡量检索系统的性能至关重要。


Input. runID数据格式：topic+Q0+文档ID+rank+score+runID

1     Q0   clueweb09-enwp00-61-01138    999  -11.4456 WQExpFqDSnip

1     Q0   clueweb09-enwp00-16-01528    998  -11.4454 WQExpFqDSnip

Sessiontrack2012.txt


Sessiontopicmap.txt格式：session    topic       subject    product  goal tasktype

1     1     1     factual    specific   known-item

2     2     1 

最低0.47元/天 解锁文章

新学期VIP享超值加赠
胡默默
关注
TrecQA 数据集下载
Love-Coding
09-19 1582
https://github.com/Kyung-Min/CompareModels_TRECQA/tree/master/data https://github.com/castorini/data/tree/master/TrecQA
国科大何苯现代信息检索大作业trec竞赛报告核心内容2018最新
03-04
近年来，随着互联网的发展以及现代的、廉价的图形用户界面和大容量存储设备的出现，信息检索（information retrieval, IR）领域已经发生了巨大的变化，这使得传统的信息检索教材变得过时，所以很有必要通过竞赛来提高研究人员对技术的认识，trec是信息检索领域十分重要的一个竞赛，本课程是以2017年的trec竞赛为例。
TREC Precision Medicine 使用Terrier进行信息检索
GouGe_优快云的博客
11-21 3297
一、实验目标 学会使用一个信息检索系统完成给定的信息检索任务，包括创建索引、选择检索模型并设置参数、评价检索结果等等。 二、实验描述 使用一个信息检索系统，例如Galago、Elastic Search、Terrier、Anserini等，完成TREC 2018 Precision Medicine Track的检索任务，要求至少给出10组不同参数配置或检索方案的结果，并给出每组检索结果的各...
信息检索的评价标准
weixin_30700099的博客
10-08 354
信息检索的评价标准 最近在看检索的相关论文，接触到了很多与检索相关的评价准则。整理在此，以供查询 以下内容主要来自 Wiki for evaluation of an information retrieval system *** 1. 基本假设与术语 以一个文本检索系统为例，我们事先拥有一堆文档集，并且集合中每篇文档的属性都知道，每篇文档对应的相关文档是哪些也都一清二楚。 设想我们查询单篇...
信息检索trec资料
07-12
介绍trec会议的一个ppt，出自中科院。
trec 2019 fair ranking track
avqgmlf7529的博客
08-17 536
trec 2019 fair ranking track 最近实验室要求参加trec 2019新出的track：fair ranking track。这里整理一下该任务的思想和要求。这次track主要为学术论文数据的排序。 1 Protocol 会给定一个query集合Q，其中\(q\in Q\)。对于每个请求，会有一个query q和一个文档集合\(D_q\)。你需要...
人工智能-项目实践-数据预处理-信息检索大作业：对 TREC CDS 数据集进行预处理
03-04
信息检索大作业：对 TREC CDS 数据集进行预处理 环境依赖 Java 1.8 Maven 3 采用的技术和库 nio 多线程 SAX (for xml) Jackson (for json) 构建与打包 $ mvn package 文件 /target/trec-preprocess.jar 即为可独立...
信息检索评价：召回率、F值与TREC会议剖析
信息检索评价指标是现代信息检索领域中至关重要的概念，它对于衡量和比较不同检索系统性能、优化算法以及推动研究进步具有重要意义。在本课程中，教授王斌探讨了信息检索评价的基本框架和关键指标。 首先，评价信息...
掌握trec_eval.exe：信息检索效果评价
信息检索效果的评价软件trec_eval.exe是一款用于评估信息检索系统性能的工具。它根据TREC（Text REtrieval Conference）的相关标准和协议来衡量检索系统的效果。TREC是由美国国家标准与技术研究院（NIST）主办的一...
概述笔记 TREC 2020|OVERVIEW OF THE TREC 2020 DEEP LEARNING TRACK
o11oo11o的博客
10-30 1785
文章目录1 介绍2 任务定义2.1 文档检索2.2 段落检索3 数据集4 结果分析4.1 深度学习与传统方法的对比4.2 端到端检索与重排的对比4.3 ORCAS数据的影响4.4 NIST标签与稀疏的MS MARCO标签的对比5 总结 1 介绍 概述题目：OVERVIEW OF THE TREC 2020 DEEP LEARNING TRACK 概述来源：TREC 2020 概述链接：https://trec.nist.gov/pubs/trec29/papers/OVERVIEW.DL.pdf 深度学习的
检索系统评价指标
人生而孤独，却不甘寂寞。
02-08 4075
Attention! 我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。 Github地址：https://github.com/wangqingbaidu/Dr.Sure 优快云地址：http://blog.youkuaiyun.com/wangqingbaidu 个人博客地址：http://www.wa...
Python-MSMARCOpassagerankingtask阅读理解任务排名第一的BERT解决方案
08-10
“MSMARCO passage ranking task”阅读理解任务排名第一的BERT解决方案
passage-reranking-transformers:通过Transformers进行现成的句子段落排名
03-19
段落重排变形金刚 通过Transformers进行现成的句子/段落排名。 输入：查询和句子/段落列表。 输出：按与查询的预测相关性的顺序排列句子/段落的列表。 在线提供了几种经过微调的通道重新排名模型（在MSMARCO数据集上进行了训练）： 直接从HuggingFace模型中心使用： ， 使用本地模型，例如 （将需要转换为PyTorch格式） 快速开始
TREC 2023 Deep Learning Track Guidelines
最新发布
Angus
03-07 2436
TREC 是 Text REtrieval Conference（文本检索会议）的缩写。它是一个由美国国家标准技术研究所（NIST）主办的年度会议，旨在推动信息检索领域的研究和发展。TREC 于 1992 年开始举办，是一个国际性的会议，每年都吸引着来自学术界、工业界和政府机构的研究人员参与。 TREC 的主要目标之一是提供一个平台，让研究人员能够评估和比较不同信息检索系统的性能。为此，TREC 组织了一系列任务和评测，参与者必须根据特定的数据集和评估标准来设计和评估他们的信息检索系统。
TrecQA 数据集简介
zdcs的专栏
02-27 6205
TrecQA ------ TrecQA 数据集一般用来评估QA的答案选择 它由一下论文发表和组织: + Wang et al. [What is the Jeopardy Model? A Quasi-Synchronous Grammar for QA.](http://www.aclweb.org/anthology/D07-1003) *EMNLP-CoNLL 2007*. + He...
IT界重要会议
AriesSurfer的专栏
08-26 1029
TREC ：文本检索会议 中文信息学报 journal of chinese information processing ACL会议（Annual Meeting of the Association for Computational Linguistics）是自然语言处理与计算语言学领域最高级别的学术会议，由计算语言学协会主办，每年一届。 涉及 对话(Dialogue) 篇章(
信息检索相关任务及数据集介绍
qq_52852138的博客
10-20 5564
信息检索相关任务及数据集介绍
信息检索IR的评价指标
weixin_30689307的博客
01-18 976
信息检索评价是对信息检索系统性能（主要满足用户信息需求的能力）进行评估的活动。通过评估可以评价不同技术的优劣，不同因素对系统的影响，从而促进本领域研究水平的不断提高。信息检索系统的目标是较少消耗情况下尽快、全面返回准确的结果。 IR的评价指标，通常分为三个方面：（1）效率(Efficiency)—可以采用通常的评价方法：时间开销、空间开销、响应速度。（2）效果(Effectiveness)：返回...
图像检索公开数据集
热门推荐
mqfcu8的专栏
04-14 2万+
搜索了许多CBIR的数据集，后续还会有添加。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值