跨媒体检索评价指标——MAP和CMC曲线

最新推荐文章于 2024-07-02 13:49:00 发布
最新推荐文章于 2024-07-02 13:49:00 发布
阅读量1.7k 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sunshine__0411/article/details/83501942
本文介绍了跨媒体检索的评估方法，包括非可扩展和可扩展检索任务，以及数据集划分和评价指标。重点讲解了MAP（平均精度）和CMC曲线的计算原理，强调了它们在衡量检索性能中的作用。MAP关注整体性能，而CMC曲线则揭示了精度随排名变化的细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一种新的主要针对图片/文字的可扩展的跨媒体检索评估方法。

 

THE EVALUATION PROTOCOL 

 

数据集划分：训练和测试集各含有一半的类别，并且类别不重合。每个集合进一步被分为两个子集：数据库子集和查询子集。使用这四个子集来衡量跨媒体检索的两个任务：

  • Non-extendable (non-XTD) retrieval: 用训练集的数据子集进行训练。然后，使用训练集的查询子集中的每个样本作为查询，在训练集的训练子集中搜索其相关的异构数据。训练/测试类别相同，衡量了传统的不可扩展的跨媒体检索方法。

  • Extendable (XTD) retrieval:  用训练集的数据子集进行训练。使用测试集的查询子集的样本作为查询，在测试集的数据库子集中搜索它们相关的异构数据。在训练和测试数据之间没有类重叠，并且在这个任务中评估新数据集的可扩展性。

 

为了平衡数据集划分对评估结果的影响，随机进行N次类别划分，最终的表现是这N次的平均。

 

评价指标：CMC curve 和 MAP.

 

MAP（平均正确率）:MAP是所有查询的AP得分的平均数

最低0.47元/天 解锁文章

200万优质内容无限畅学
关于行人重识别评估指标CMC理解总结
聿默的博客
07-16 2344
1.参考文献 1.【Person Re-ID】常用评测指标 2.How_is_CMC_produced_recognition_rate_vs_Rank_for_unknown_faces 3.人脸识别中的rank-n 代表的意思 4.余弦距离、欧氏距离和杰卡德相似性度量的对比分析 一定要先看第一篇（写得更加清晰），第二篇举了更多例子（可以加深理解）。 ...
行人再识别之评估标准（CMC曲线）
鄠邑原野的博客
07-22 9344
CMC曲线总结 1、概念 CMC曲线全称是Cumulative Match Characteristic (CMC) curve，也就是累积匹配曲线，同ROC曲线Receiver Operating Characteristic ...
CMC曲线
distant1219的博客
01-29 4865
行人重识别评测指标 CMC CMC曲线即cumulated matching characteristic curve，是一个检验一个识别系统的性能的参数， 常用于人脸识别、行人重识别等领域。 CMC曲线综合反映了分类器的性能，首先介绍一下Rank-1识别率的意思。 Rank-1识别率就是表示按照某种相似度匹配规则匹配后，第一次就能判断出正确的标签的数目与总的测试样本数目之比，Ran
mAP和CMC curve
han jan的博客
09-22 3410
mAP:(mean average precision) 根据准确率-召回率曲线计算得到，反应召回率 CMC curve:(Cumulative Matching Characteristic) 累计匹配特性曲线，一般用Rank-1, Rank-5, Rank-20 scores代替，反应检索准确度 Rank-1识别率就是表示按照某种相似度匹配规则匹配后，第一次就能判断出正确的标签的测...
CMC、mAP解析：图像检索领域评价指标
qq_43528044的博客
08-20 1112
图像检索领域评价指标CMC、mAP
ReID任务中的CMC和mAP
qq_30122359的博客
12-02 1519
转自https://rayhy.com/blog/20190223-reid%E4%BB%BB%E5%8A%A1%E4%B8%AD%E7%9A%84cmc%E5%92%8Cmap/ ReID指Re-identification，常翻译为重识别。ReID任务本身分类很多，本文只讨论基于图片的ReID任务中single-gallery-shot这一最简单的情况。 重识别任务可以描述如下： ...
RE-ID中的CMC、mAP、recall、precision、ACC
最新发布
weixin_51678401的博客
07-02 424
mAP更好地反映了所有正确的目标图片在排序列表顶部的程度。与CMC曲线相比，它可以更全面地衡量Re-ID算法的性能，它反映了模型在单一类别上的工作效果，是每个正确预测的准确率的平均值。它反映了输出中正确样本的准确性。
跨膜态行人重识别 综述，查阅许多资料，详细解释，适合以前没有基础的同学学习。
JJxiao520的博客
02-08 4413
跨膜态行人重识别综述，未来研究方向
人脸识别-闭集测试指标CMC曲线
cuixing001的博客
11-24 2437
做FaceIdentification时候，需要用到CMC曲线，横坐标为rank，纵坐标是faceIdentification Rate。 在绘制CMC曲线之前，做好rowNames,colNames,simMatrix三个矩阵的准备，分别为m个样本的标签ID，n个注册集中ID（无重复有序），分数矩阵simMatrix是m*n的。 simMatrix(i,j)表示第i个样本在第j个标签ID的得
CUHK03和Market1501计算CMC和mAP的方法
GZKPeng的博客
04-17 4743
Cumulative Matching Characteristics (CMC) curves 是目前行人重识别领域最流行的性能评估方法。考虑一个简单的 single-gallery-shot 情形，每个数据集中的ID(gallery ID)只有一个实例. 对于每一次的识别(query), 算法将根据 要查询的图像(query) 到所有gallery samples的距离从小到大排序，CMC t...
行人重识别评价指标rank-k,CMC,mAP
weixin_43974261的博客
10-01 6380
行人重识别中常用算法：rank-k,CMC,mAP rank-k 图中左侧为query，右侧为gallery，从右侧检索左侧的数据。圆圈代表正确的答案，x代表错误的答案。第一行第一列有圆圈代表rank1击中，第二行代表rank4击中，以此类推。五个样本中有两个rank1击中，因此Rank-1概率为2/5，五个样本中，前五位有击中的有三个，因此概率为3/5。 CMC CMC可以看作是rank-k的集合，将rank-k画成一条曲线。 mAP rank-k的缺陷在于只考虑了第一次命中的概率，然而很多时候实际
CMC曲线（python代码实现）
aoanng的博客
05-26 5453
在看人脸识别相关的paper时，常会遇到有的文献除了ROC曲线外，也会将CMC曲线作为他们的实验性能指标。那么，怎么理解CMC曲线呢？我在网上查阅了一些资料，为了方便理解，举例如下： 假如我们训练好了一个3分类的模型，分别为类别c1，c2，c3。每个样本输入模型后会得到对应的3个匹配分数，匹配分数最高的那个类别即是预测的类别数。 针对单样本： 现在我们手头仅有一个属于类别c1的样本，我们将...
PRID：行人重识别常用评测指标（rank-n、Precision & Recall、F-score、mAP 、CMC、ROC)
热门推荐
秀呀秀的博客
10-17 1万+
1、rank-n 搜索结果中最靠前（置信度最高）的n张图有正确结果的概率。 例如： lable为 m1，在100个样本中搜索。 如果识别结果是 m1、m2、m3、m4、m5……，则此时rank-1的正确率为100%；rank-2的正确率也为100%；rank-5的正确率也为100%； 如果识别结果是 m2、m1、m3、m4、m5……，则此时rank-1的正确率为0%；rank-2的正确率为...
代码笔记：caffe-reid中计算mAP和rank1的方法
学习专栏，期待交流与成长
03-07 1万+
mAP和rank1均是衡量算法搜索结果的指标。其具体的概念和算法如下所述。mAP概念mAP的全称是mean average precision，用于衡量算法的搜索结果。如下这张图中有实际的例子来描述该公式。其图像链接如下： http://yongyuan.name/blog/evaluation-of-information-retrievalrank1概念搜索结果中最靠前的一张图是正确结果的概率
信息检索评价指标mAP
Flameyjh的博客
07-04 1975
MAP解释:https://blog.youkuaiyun.com/qq_25964837/article/details/78994993 代码实现： 单模态图像检索MAP、准确率、召回率 1、B = compactbit(H); tB = compactbit(tH); H、tH分别表示图像库哈希码和测试图像哈希码。把 H由位数组压缩成紧致的位串。 比如在SDH中把59000*32...
R语言：灵活的性能曲线绘制工具——TheROCRPackage
ROCR支持跨验证（Cross-validation）和自助抽样（Bootstrapping）的结果合并，通过不同的方法平均化曲线，同时通过标准差、标准误或箱线图来呈现这些结果的变异程度。此外，它还提供了一种直观的方式来显示参数化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值