weiyuxin的博客

​# 1. 论文信息本文是基于公共空间的跨模态检索方法。文章中提出了 DSDCAN 的方法，由两个 Cycle GAN 组成，该方法通过原始特征生成模态样式特征和公共空间特征。通过交换模态样式特征进行重建缩小了两个模态之间的差异。将标签文本嵌入到公共空间中，通过对抗训练和语义区分度损失优化公共空间的表示，并且通过二阶度量函数来弥补分布之间的差异。同时还使用了标签进行分类。这篇文章中使用了多个对抗性训练，并且集成了一些弥补模态差异的 loss。模型的结构和一些公共特征解耦的模型比较像。

跨模态检索算法主要的挑战是“media gap”，不同媒体类型的表示是不一样的使得难以进行度量。common space learning methods：目前主流的方法，将不同模态的特征映射到公共空间中，在公共空间中进行度量cross-media similarity measurement：根据数据关系，直接计算跨模态相似度本文使用XXX和YYY来表示两种模态的数据。训练数据集可以表示为DtrXtrYtrDtr​Xtr​Ytr​。

跨模态检索评价指标精确率，准确率，召回率，混淆矩阵以二分类算法为基础TN：算法预测为负例（N），实际上也是负例（N）的个数，即算法预测对了（True）；FP：算法预测为正例（P），实际上是负例（N）的个数，即算法预测错了（False）；FN：算法预测为负例（N），实际上是正例（P）的个数，即算法预测错了（False）；TP：算法预测为正例（P），实际上也是正例（P）的个数，即算法预测对了（True）混淆矩阵预测值 0预测值 1真实值 0TNFP真实值 1