DALL-Eval：评估文本到图像生成模型的推理能力和社会偏见

DALL-Eval：评估文本到图像生成模型的推理能力和社会偏见

DallEval DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generation Models (ICCV 2023) 项目地址: https://gitcode.com/gh_mirrors/da/DallEval

DALL-Eval 是一个开源项目，旨在评估文本到图像生成模型的推理能力和社会偏见。该项目由 Jaemin Cho、Abhay Zala 和 Mohit Bansal 开发，主要使用 Python 和 Jupyter Notebook 编程语言。

项目基础介绍

DALL-Eval 项目提供了一个全面的评估框架，用于分析文本到图像生成模型在视觉推理、社会偏见、图像质量以及图像-文本对齐等方面的性能。该项目基于多个先进的模型，如 DETR、DALLE-pytorch、minDALL-E、X-LXMERT 和 Stable Diffusion，为研究人员和开发者提供了一个强大的工具集。

项目核心功能

1. 视觉推理技能评估：通过基于 DETR 的视觉推理技能评估，项目可以检测模型在理解图像中的对象和场景方面的能力。
2. 社会偏见评估：项目评估了模型在性别和肤色偏见方面的表现，有助于识别和改进潜在的不公平偏见。
3. 图像质量评估：基于 FID 分数，项目对生成图像的质量进行了评估，确保了图像的视觉质量。
4. 图像-文本对齐评估：利用 CLIP-based R-precision 和 VL-T5 captioning 方法，项目评估了图像和文本之间的对齐程度。

项目最近更新的功能

• 推理脚本更新：项目提供了针对 DALLE-small (DALLE-pytorch)、minDALL-E、X-LXMERT 和 Stable Diffusion 的更新推理脚本，以支持最新的模型版本和特性。
• 性能优化：对评估框架进行了优化，提高了数据处理和评估的效率。
• 文档完善：项目的 README 文档得到了更新和补充，使得用户更容易理解和使用项目。

通过这些更新，DALL-Eval 进一步提升了其在评估文本到图像生成模型方面的能力和易用性，为相关领域的研究和开发工作提供了有力的支持。

DallEval DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generation Models (ICCV 2023) 项目地址: https://gitcode.com/gh_mirrors/da/DallEval