一种新的主要针对图片/文字的可扩展的跨媒体检索评估方法。
THE EVALUATION PROTOCOL
数据集划分:训练和测试集各含有一半的类别,并且类别不重合。每个集合进一步被分为两个子集:数据库子集和查询子集。使用这四个子集来衡量跨媒体检索的两个任务:
- Non-extendable (non-XTD) retrieval: 用训练集的数据子集进行训练。然后,使用训练集的查询子集中的每个样本作为查询,在训练集的训练子集中搜索其相关的异构数据。训练/测试类别相同,衡量了传统的不可扩展的跨媒体检索方法。
-
Extendable (XTD) retrieval: 用训练集的数据子集进行训练。使用测试集的查询子集的样本作为查询,在测试集的数据库子集中搜索它们相关的异构数据。在训练和测试数据之间没有类重叠,并且在这个任务中评估新数据集的可扩展性。
为了平衡数据集划分对评估结果的影响,随机进行N次类别划分,最终的表现是这N次的平均。
评价指标:CMC curve 和 MAP.
MAP(平均正确率):MAP是所有查询的AP得分的平均数