文生图模型评测之PickScore

已于 2023-11-09 21:41:23 修改
阅读量1.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： AIGC 人工智能 stable diffusion Imagen
于 2023-11-09 21:40:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/134275052
PickScore是一个基于CLIP的打分模型，用于评估文本到图像生成（文生图）模型的性能。它利用用户在Pick-a-Pic web App中表达的偏好数据进行训练，该数据集包含超过50万个样本。模型可以用于模型选择、构建高质量数据集和改进文生图模型。

在这里插入图片描述

文章目录

论文链接：Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation
代码/数据链接：yuvalkirstain/PickScore
🤗关注微信公众号 funNLPer，分享有用的算法知识🤗

PickScore是一个文生图打分模型，作者在公开模型的同时也公开了他们收集的人类偏好数据集，该模型即可作为文生图模型的评价标准，也可作为类似于RLHF中奖励函数。而对于作者公开的人类偏好数据集则对文生图中RLHF具有重要作用，同时研究者们也可基于该数据集训练打分模型。

1. 简介

从文生图用户中收集大量的人类偏好数据一般只能是大公司才能做到，普通研究者很难收集到这种数据。因此本文制作了一个web应用，用户在该应用上可以使用文生图模型生成各种图片，并且指出他们对图片的偏好。通过这个应用本文收集了大量的文生图prompts以及用户对生成图片的偏好。作者利用该数据集训练了一个基于CLIP的打分函数PickScore，PickScore在预测人类偏好任务上展示了惊人的效果。

2. 构建数据集

2.1 Pic

了解本专栏 订阅专栏 解锁全文 超级会员免费看
文生图算法评价
liguandong
11-15 1387
文章浏览阅读51次。包括了79.8w个图像对的人工比较注释，在数据集收集过程中，关注潜在的偏差问题，1.偏差来源于图像源，hpdv2包含了9个最新的文本到图像生成模型生成的图像，以及coco captions数据中的真实图像，2.文本提示偏差，用户编写的提示，例如diffusiondb中的提示，通常遵循描述加上几个样式词的组织方式，其中样式词经常包含矛盾之处，让标注着难以理解，使用chatgpt去除样式词并将提示组织成一个明确的句子。我们雇佣了57个人来标注数据，其中50人负责图像排序，7负责质量控制。
文生图模型测评之HPS v2
orangerfun的博客
11-12 854
文生图模型测评 HPS
深入PickScore_v1：CLIP模型微调与训练细节
gitblog_00610的博客
08-25 625
深入PickScore_v1：CLIP模型微调与训练细节 【免费下载链接】PickScore_v1 项目地址: https://ai.gitcode.com/hf_mirrors/yuvalkirstain/PickScore_...
主流闭源文生图模型点评：技术巅峰与生态博弈
Liudef06的博客
09-17 1728
主流闭源文生图模型（如DALL·E 3、MidJourney、Seedream）凭借卓越的图像质量、用户友好性和稳定服务占据市场主导。DALL·E 3文本理解精准，MidJourney艺术性强，Seedream中文支持出色。相比开源模型，闭源方案开箱即用但成本高、可控性低。未来将向多模态融合、个性化、实时交互等方向发展，形成与开源模型互补共生的生态格局。用户需根据质量需求、预算和技术能力选择合适的工具。
文生图大模型中文基准测评2024.9月榜单公布，6大维度34大任务14大模型
FeelTouch Labs
03-26 631
---逐项打分开始----**内容完整性**：生成的图像文字内容与用户指定的"老四川江湖菜"不符，文字内容出现较大偏差。----逐项打分结束--------逐项打分开始----**内容完整性**：图像中的文字“老四川江湖菜”完整准确，符合用户的文本要求。具体操作方法为：抽取4个模型，按任务类型进行分层抽样，对各模型对应的120个任务输出答案的质量进行人工评价，并与GPT-4o的评分进行比较，考察GPT-4o评价与真实情况的吻合程度，给出相应的评分（优秀/良好/及格/不及格）。均有65分以上的优异表现。
文生图模型生成结果评估标准
Linda的自动化测试之旅
08-18 1287
文生图模型评估标准摘要 本文提出了6个维度的文生图生成结果评估标准： 图文匹配度：评估画面与文本描述的契合程度 画面质量与美感：考察清晰度、技术缺陷和视觉美感 细节处理与合理性：关注元素细节、逻辑一致性和物理合理性 构图与布局：评价画面组织、空间安排和视觉平衡 风格一致性：检查艺术风格统一性和与提示的符合度 创意发挥（可选）：评估在忠实提示基础上的新颖性和艺术表现力 每个维度采用5分制，从1分（最差）到5分（最优）分级描述特征。评估建议基于清晰文本提示进行独立打分，可计算平均值或加权值，并注意评估中的主观因
PickScore 开源项目教程
gitblog_00028的博客
08-18 669
PickScore 开源项目教程 项目介绍 PickScore 是一个用于评估文本生成图像质量的模型。该项目基于 CLIP 模型，通过训练一个评分函数来预测用户对生成图像的偏好。PickScore 能够帮助开发者在文本到图像生成任务中选择最佳的生成图像，从而提高生成模型的性能。 项目快速启动 安装依赖 首先，克隆项目仓库并安装必要的依赖： git clone https://github.com/...
免费开源（附代码地址）文生图提示词自动优化，还发现三个小窍门，人大度小满等机构出品！阶跃星辰万亿MoE+多模态大模型矩阵亮相
代码讲故事
07-05 504
免费开源（附代码地址）文生图提示词自动优化，还发现三个小窍门，人大度小满等机构出品！阶跃星辰万亿MoE+多模态大模型矩阵亮相。
ICCV 2025 | 告别“高分低能“：ICT-HP奖励模型实现文生图与人类审美的真实契合
08-19 1103
论文旨在解决现有奖励模型因固守文本-图像对齐范式而错误地给高质量、高细节图像低分的核心问题。设计了一种新的评估分数，用于量化图像在多大程度上表达了文本内容。该方法不再追求信息对等，而是评估图像对文本的“包含”关系，从而避免惩罚超出文本描述的、有益的视觉细节。在ICT分数的基础上，进一步训练了一个仅依赖图像模态的偏好模型，用于评估图像的美学价值和细节质量，以驱动图像在保持文本对齐的同时，向更高的人类偏好方向优化。实验证明，该论文提出的评估模型相比现有方法，在偏好预测准确率上提升超过10%。
目前最强的文生图模型？！FLUX完全解读！附体验地址
hunteritself的博客
08-12 1万+
目前最强的文生图模型？！FLUX完全解读！附体验地址
PickScore_v1：革命性的文本到图像评分模型解析
gitblog_00169的博客
08-25 770
PickScore_v1：革命性的文本到图像评分模型解析 【免费下载链接】PickScore_v1 项目地址: https://ai.gitcode.com/hf_mirrors/yuvalkirstain/PickScore_...
AI文生图网站测评
Zaralike的博客
02-23 1145
请生成一个文章内容配图，图片比例是3：2，文章主旨是AI既是机遇，也存在挑战和风险，要求图片风格是科技、互联网、AI相关，可以有关键词：AI，图片元素可以有互联网、电脑、科技等相关元素，整体颜色可以偏深蓝色。提示 更换输入，限制较为严格，修改后依然无法通过，没法使用，pass。输入提示词，直接跳转充值会员页面，pass~
【文生图系列】文生图大模型合集与效果对比
热门推荐
陶将的博客
07-06 2万+
本篇博文粗略了介绍了OpenAI的DALL E系列，百度的ERNIE-ViLG系列，google的Imagen，MidJourney，Stable Diffusion，智源研究院的AltDiffusion，英伟达的eDiff-I和阿里的通义文生图大模型，并进行了效果对比。
如何自动化地评估 AIGC 生图的质量？
2401_84033492的博客
06-05 2497
在AIGC生图过程中，进行图像质量的自动化评估，能快速进行打分、节省人工成本，更准确的进行模型效果比较，以促进模型迭代。对于特定场景的自动化评估，则需要建立对应的评估体系，包括评分准则、特定数据集、打分模型。我们团队正在进行家装行业AIGC的相关研发，以提高家装AI模型的效果。我们希望与对此方向感兴趣的同学一起探讨和交流。参考文献。
大模型评估指标
xiaod12138的博客
09-11 1219
未完待续。
Pick-a-Pic:An open dataset of user preferences for text-to-image generation
liguandong
04-25 970
一共收集了968965个排名，这些排名源自66798个提示和6394个用户，Pick-a-Pic数据集包括583747个训练示例，以及500个验证和测试示例，训练集来自4375个不同用户的37523个提示。1.创建了一个 数据集，每个示例包括一个提示，两个生成的图像以及一个指向首选图像的标签，或者在没有一个图像明显优于另一个时标记为平局。训练，在pick-a-pic训练集上微调clip-H，训练4000不，学习率为3e-6，批处理大小为128，8个a100不到一小时处理完。
【EMNLP 2023】面向Stable Diffusion的自动Prompt工程算法
科技很有意思
12-08 1736
我们提出一个自动化收集prompt优化的数据集方案：原始数据源是DiffusionDB，它只包含未配对的提示。启发式地，我们根据提示的长度、提示中包含的某些标签等将提示分为低质量提示和高质量提示。接下来，我们i)使用BLIP 对与高质量提示相关的图像进行caption，并将结果视为相应的低质量提示，因为说明文字较短且缺乏细节;ii)使用ChatGPT对高质量的提示进行总结，并将总结视为低质量的提示;iii)使用ChatGPT从低质量的提示生成更好的提示;结果被认为是高质量的提示。
Qiskit核心组件详解：量子电路、操作符与原语函数的终极指南
最新发布
gitblog_00353的博客
11-25 556
量子计算正在改变我们对计算能力的认知，而Qiskit作为IBM开发的量子计算框架，为开发者和研究人员提供了强大的工具集。本文将深入解析Qiskit的三大核心组件：量子电路、操作符和原语函数，帮助您快速掌握量子编程的精髓。🚀 ## 量子电路：构建量子算法的基石 量子电路是Qiskit中最基础也最重要的概念，它类似于经典计算中的逻辑电路，但运行在量子比特上。在[qiskit/circuit/qu
文生图模型美学评测
03-13
### 文生图模型的美学评测方法与指标 评估文生图模型生成图像的质量通常涉及多个维度，其中包括视觉逼真度、语义一致性以及美学质量。以下是关于文生图模型美学评测的主要方法和指标： #### 1. 主观评价（Human Evaluation） 主观评价是最直接的方式之一，通过让评分者对生成图像进行打分来衡量其美学价值。这种方法可以分为以下几种形式： - **偏好测试**：给定两组或多组图像，评分者选择更喜欢的一组[^2]。 - **单项评分**：评分者基于特定标准（如清晰度、美感、创意等）为单张图像打分。 尽管主观评价能有效捕捉人类审美倾向，但它也存在耗时长、成本高以及结果受个体差异影响较大的缺点。 #### 2. 客观数量化指标 为了弥补主观评价的不足，研究者开发了一系列客观数量化指标用于自动评估生成图像的美学质量。常见的指标包括但不限于以下几个方面： ##### a. Fréchet Inception Distance (FID) FID 是一种广泛使用的生成对抗网络性能评估工具，它可以计算真实数据分布与生成样本之间的距离。虽然 FID 更侧重于整体相似性和多样性而非纯粹的艺术风格匹配程度，但在一定程度上也能间接反映出某些类型的美观特性[^3]。 ##### b. CLIPScore CLIPScore 结合了自然语言处理技术和计算机视觉技术的优势，利用预训练好的对比学习框架（Contrastive Language–Image Pre-training, CLIP），分别提取文本描述特征向量和图片表示空间中的位置关系作为输入参数；最终输出一个介于0到1之间的小数用来表征两者间契合水平——数值越高表明二者越接近理想状态即既忠实还原原始指令又具备良好外观属性。 ##### c. LPIPS (Learned Perceptual Image Patch Similarity) LPIPS 考虑到了人眼感知上的细微差别，在低层次像素级误差基础上融入高层语义信息从而更加贴近实际用户体验效果。因此当应用于艺术创作领域内的作品评判环节时往往表现出色因为它们倾向于奖励那些具有强烈个人特色或者独特表达方式的画面构图而不是单纯追求精确复制原物象外形轮廓而已。 ##### d. AMT (Amazon Mechanical Turk Tests) 有时也会借助众包平台比如 Amazon MTurk 来收集大量匿名用户的反馈意见进而得出统计意义上的结论有关某款产品或服务的整体受欢迎程度如何等等情况下的参考依据之一便是此类在线问卷调查活动所得出来的平均得分状况报告等内容资料来源说明如下所示。 #### 3. 综合考量因素 除了上述提到的一些具体的技术手段之外还需要注意到其他一些可能会影响最后评定结果的因素例如文化背景差异可能导致不同地区人群对于色彩搭配喜好偏向有所不同; 年龄性别职业等因素也可能造成各自偏爱不同类型题材内容的现象发生所以最好能够在设计实验方案之初就充分考虑到这些潜在变量并采取适当措施加以控制以便获得更为可靠稳定的测量值范围区间内合理估计目标群体普遍认可接受的标准阈限设定原则等方面的知识要点归纳总结起来就是一句话概括得好不好看不仅仅取决于算法本身还要考虑使用者的需求特点才行啊朋友们记住了吗哈哈😊 ```python import numpy as np from scipy.spatial.distance import cosine def calculate_fid(real_features, generated_features): mu_real = np.mean(real_features, axis=0) sigma_real = np.cov(real_features, rowvar=False) mu_gen = np.mean(generated_features, axis=0) sigma_gen = np.cov(generated_features, rowvar=False) fid_value = _compute_frechet_distance(mu_real, sigma_real, mu_gen, sigma_gen) return fid_value def _compute_frechet_distance(mu1, sigma1, mu2, sigma2, eps=1e-6): diff = mu1 - mu2 covmean, _ = linalg.sqrtm(sigma1.dot(sigma2), disp=False) if not np.isfinite(covmean).all(): msg = ('fid calculation produces singular product; ' 'adding %s to diagonal of cov estimates') % eps warnings.warn(msg) offset = np.eye(sigma1.shape[0]) * eps covmean = linalg.sqrtm((sigma1 + offset).dot(sigma2 + offset)) tr_covmean = np.trace(covmean) return (diff.dot(diff) + np.trace(sigma1) + np.trace(sigma2) - 2 * tr_covmean) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值