2025_NIPS_Zero-shot Visual Relation Detection via Composite Visual Cues from Large Language Models

文章主要内容总结

该研究针对零样本视觉关系检测（Zero-shot Visual Relation Detection, VRD）的核心挑战，提出了一种名为RECODE的新方法。VRD任务需识别图像中目标对之间的关系类型（如“持有”“携带”），而传统基于CLIP等视觉-语言模型的方法依赖类级提示（class-based prompts），存在难以区分细粒度相似关系、忽略空间信息、计算效率低等问题。

RECODE的核心思路是借鉴人类利用复合视觉线索区分关系的能力，通过大语言模型（LLMs，如GPT）生成多维度描述性提示，辅助CLIP模型提升识别性能。其主要流程包括：

1. 特征分解：将视觉特征拆分为主体（subject）、客体（object）和空间（spatial）三个组件，同时通过LLM生成各组件的描述性提示（如主体的姿态、客体的特征、目标间的相对位置）；
2. 提示生成：设计引导式关系组件描述提示，结合高层目标类别（如“动物”“产品”）生成精准视觉线索，避免通用描述的噪声干扰；
3. 动态加权融合：采用思维链（Chain-of-Thought, CoT）方法，让LLM为不同组件的视觉线索分配合理权重，实现多线索的有效融合；
4. 过滤优化：引入常识过滤策略，剔除不合理预测（如“小孩-吃-房子”）。

研究在四个基准数据集（VG、GQA、HICO-DET、V-COCO）上验证了方法的有效性，相比传统CLIP基线，在场景图生成（SGG）和人机交互检测（HOI）任务中均实现显著性能