2025_NIPS_T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Gen...

文章主要内容与创新点总结

一、主要内容

1. 研究背景：现有文本到图像（T2I）生成模型虽能生成高质量图像，但在处理包含多物体、多属性及复杂关系的开放世界组合式生成任务时存在缺陷，且缺乏统一的问题定义和标准基准，现有评估指标难以精准衡量组合生成能力。
2. 核心贡献
   • 基准数据集 T2I-CompBench：包含6000个组合式文本提示，涵盖3大类（属性绑定、物体关系、复杂组合）6个子类（颜色绑定、形状绑定、纹理绑定、空间关系、非空间关系、复杂组合），平衡了训练/测试集的可见/不可见组合、句式模板与自然表述等维度，支持开放世界组合式生成的全面评估。
   • 专用评估指标：针对不同组合类型设计指标，包括用于属性绑定的解纠缠BLIP-VQA、用于空间关系的UniDet-based指标、用于复杂组合的3合1指标（CLIPScore、解纠缠BLIP-VQA、UniDet的平均值）；同时探索了MiniGPT-4等多模态大语言模型结合思维链（Chain-of-Thought）的评估潜力。
   • 优化方法 GORS：提出“奖励驱动样本选择的生成模型微调”方法，通过筛选与文本提示高度对齐的生成图像，以对齐分数为权重微调预训练模型（如Stable Diffusion v2），有效提升组合生成能力。
3. 实验验证：在T2I-CompBench上对6个主流T2I模型