开源项目推荐：CLIP4Cir

开源项目推荐：CLIP4Cir

CLIP4Cir [ACM TOMM 2023] - Composed Image Retrieval using Contrastive Learning and Task-oriented CLIP-based Features 项目地址: https://gitcode.com/gh_mirrors/cl/CLIP4Cir

CLIP4Cir 是一个基于对比学习和任务导向的 CLIP 特征的开源图像检索项目。该项目的主要编程语言是 Python。

项目基础介绍

CLIP4Cir 项目的目的是实现图像组合检索（Composed Image Retrieval, CIR），即给定一个参考图像和相关描述，检索出与参考图像相似且融合了描述中修改内容的图像。项目使用了 OpenAI 的 CLIP 模型特征，并通过任务导向的微调和精心设计的组合网络来提高检索效果。

核心功能

• 任务导向微调（Task-oriented Fine-tuning）：对 CLIP 编码器进行微调，以减少大规模预训练和下游任务之间的不匹配。
• 组合网络训练（Combiner Training）：训练一个新的组合网络，用于融合多模态查询特征，生成统一的表示，用于检索。
• 对比学习（Contrastive Learning）：在两个训练阶段都使用对比学习，以优化特征表示。

最近更新的功能

项目最近的更新主要集中在以下方面：

• 改进了组合网络的结构，提高了特征的融合效果。
• 对数据预处理流程进行了优化，提升了模型的训练效率。
• 更新了项目文档，增加了更详细的安装指南和使用说明，便于用户快速上手。
• 提供了预训练模型的 checkpoints，方便资源有限的用户使用。

通过这些更新，CLIP4Cir 在图像检索任务上表现更加优异，为开源社区提供了一个有力的工具。

CLIP4Cir [ACM TOMM 2023] - Composed Image Retrieval using Contrastive Learning and Task-oriented CLIP-based Features 项目地址: https://gitcode.com/gh_mirrors/cl/CLIP4Cir