图文检索（31）：Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval

---

发布时间（2023 cvpr）

---

标题：用于文本到图像人物检索的 跨模态 隐式关系 推理和对齐

摘要

任务：文本识别人物
挑战：文本和图像的共同潜在空间
传统：各自提取特征，但是缺乏两种模态的对齐能力
同时利用一些显式的方法对齐，可能造成模态内部语义信息的扭曲
本文： IRRA，一个跨模态隐式关系推理和对齐框架
总结：局部视觉 和 文本token 之间的关系，同时增强全局的文本图像匹配
1）MLM 模型中设计了一个 隐式的推理模块，将视觉信息集成到文本标记中，实现交互
2）为了全局对齐，利用KL散度最小化 文本-图像相似性分布 与 标准化标签匹配分布

3.方法

3.1 feature extraction dual-encoder

1）直接使用 CLIP 作为初始encoder
2）ViT 作为图像编码器
3）修改的transformer，利用eos作为文本全局语义

3.2 implicit relation reasoning

MLM
MLM优化的两个属性：
1）利用掩码的静态表示作为anchor，来对齐 文本/图像 中的被掩码词的局部语义
2）联合嵌入空间中静态嵌入的均匀性