跨媒体检索评价指标——MAP和CMC曲线

一种新的主要针对图片/文字的可扩展的跨媒体检索评估方法。

 

THE EVALUATION PROTOCOL 

 

数据集划分：训练和测试集各含有一半的类别，并且类别不重合。每个集合进一步被分为两个子集：数据库子集和查询子集。使用这四个子集来衡量跨媒体检索的两个任务：

• Non-extendable (non-XTD) retrieval: 用训练集的数据子集进行训练。然后，使用训练集的查询子集中的每个样本作为查询，在训练集的训练子集中搜索其相关的异构数据。训练/测试类别相同，衡量了传统的不可扩展的跨媒体检索方法。

• Extendable (XTD) retrieval:  用训练集的数据子集进行训练。使用测试集的查询子集的样本作为查询，在测试集的数据库子集中搜索它们相关的异构数据。在训练和测试数据之间没有类重叠，并且在这个任务中评估新数据集的可扩展性。

 

为了平衡数据集划分对评估结果的影响，随机进行N次类别划分，最终的表现是这N次的平均。

 

评价指标：CMC curve 和 MAP.

 

MAP（平均正确率）:MAP是所有查询的AP得分的平均数