文生图模型评测之PickScore

已于 2023-11-09 21:41:23 修改
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： AIGC 人工智能 stable diffusion Imagen
于 2023-11-09 21:40:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/134275052
PickScore是一个基于CLIP的打分模型，用于评估文本到图像生成（文生图）模型的性能。它利用用户在Pick-a-Pic web App中表达的偏好数据进行训练，该数据集包含超过50万个样本。模型可以用于模型选择、构建高质量数据集和改进文生图模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

文章目录

论文链接：Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation
代码/数据链接：yuvalkirstain/PickScore
🤗关注微信公众号 funNLPer，分享有用的算法知识🤗

PickScore是一个文生图打分模型，作者在公开模型的同时也公开了他们收集的人类偏好数据集，该模型即可作为文生图模型的评价标准，也可作为类似于RLHF中奖励函数。而对于作者公开的人类偏好数据集则对文生图中RLHF具有重要作用，同时研究者们也可基于该数据集训练打分模型。

1. 简介

从文生图用户中收集大量的人类偏好数据一般只能是大公司才能做到，普通研究者很难收集到这种数据。因此本文制作了一个web应用，用户在该应用上可以使用文生图模型生成各种图片，并且指出他们对图片的偏好。通过这个应用本文收集了大量的文生图prompts以及用户对生成图片的偏好。作者利用该数据集训练了一个基于CLIP的打分函数PickScore，P

了解本专栏 订阅专栏 解锁全文 超级会员免费看
文生图算法评价
liguandong
11-15 1219
文章浏览阅读51次。包括了79.8w个图像对的人工比较注释，在数据集收集过程中，关注潜在的偏差问题，1.偏差来源于图像源，hpdv2包含了9个最新的文本到图像生成模型生成的图像，以及coco captions数据中的真实图像，2.文本提示偏差，用户编写的提示，例如diffusiondb中的提示，通常遵循描述加上几个样式词的组织方式，其中样式词经常包含矛盾之处，让标注着难以理解，使用chatgpt去除样式词并将提示组织成一个明确的句子。我们雇佣了57个人来标注数据，其中50人负责图像排序，7负责质量控制。
文生图模型测评之HPS v2
orangerfun的博客
11-12 740
文生图模型测评 HPS
视频编辑评价指标
ZhengrongYue的博客
12-02 774
视频编辑评价指标
目前最强的文生图模型？！FLUX完全解读！附体验地址
hunteritself的博客
08-12 1万+
目前最强的文生图模型？！FLUX完全解读！附体验地址
AI文生图网站测评
Zaralike的博客
02-23 976
请生成一个文章内容配图，图片比例是3：2，文章主旨是AI既是机遇，也存在挑战和风险，要求图片风格是科技、互联网、AI相关，可以有关键词：AI，图片元素可以有互联网、电脑、科技等相关元素，整体颜色可以偏深蓝色。提示 更换输入，限制较为严格，修改后依然无法通过，没法使用，pass。输入提示词，直接跳转充值会员页面，pass~
PickScore 开源项目教程
gitblog_00028的博客
08-18 538
PickScore 开源项目教程 项目介绍 PickScore 是一个用于评估文本生成图像质量的模型。该项目基于 CLIP 模型，通过训练一个评分函数来预测用户对生成图像的偏好。PickScore 能够帮助开发者在文本到图像生成任务中选择最佳的生成图像，从而提高生成模型的性能。 项目快速启动 安装依赖 首先，克隆项目仓库并安装必要的依赖： git clone https://github.com/...
【文生图系列】文生图大模型合集与效果对比
热门推荐
陶将的博客
07-06 2万+
本篇博文粗略了介绍了OpenAI的DALL E系列，百度的ERNIE-ViLG系列，google的Imagen，MidJourney，Stable Diffusion，智源研究院的AltDiffusion，英伟达的eDiff-I和阿里的通义文生图大模型，并进行了效果对比。
免费开源（附代码地址）文生图提示词自动优化，还发现三个小窍门，人大度小满等机构出品！阶跃星辰万亿MoE+多模态大模型矩阵亮相
代码讲故事
07-05 415
免费开源（附代码地址）文生图提示词自动优化，还发现三个小窍门，人大度小满等机构出品！阶跃星辰万亿MoE+多模态大模型矩阵亮相。
大模型评估指标
xiaod12138的博客
09-11 938
未完待续。
如何自动化地评估 AIGC 生图的质量？
2401_84033492的博客
06-05 2238
在AIGC生图过程中，进行图像质量的自动化评估，能快速进行打分、节省人工成本，更准确的进行模型效果比较，以促进模型迭代。对于特定场景的自动化评估，则需要建立对应的评估体系，包括评分准则、特定数据集、打分模型。我们团队正在进行家装行业AIGC的相关研发，以提高家装AI模型的效果。我们希望与对此方向感兴趣的同学一起探讨和交流。参考文献。
Pick-a-Pic:An open dataset of user preferences for text-to-image generation
liguandong
04-25 780
一共收集了968965个排名，这些排名源自66798个提示和6394个用户，Pick-a-Pic数据集包括583747个训练示例，以及500个验证和测试示例，训练集来自4375个不同用户的37523个提示。1.创建了一个 数据集，每个示例包括一个提示，两个生成的图像以及一个指向首选图像的标签，或者在没有一个图像明显优于另一个时标记为平局。训练，在pick-a-pic训练集上微调clip-H，训练4000不，学习率为3e-6，批处理大小为128，8个a100不到一小时处理完。
【EMNLP 2023】面向Stable Diffusion的自动Prompt工程算法
科技很有意思
12-08 1653
我们提出一个自动化收集prompt优化的数据集方案：原始数据源是DiffusionDB，它只包含未配对的提示。启发式地，我们根据提示的长度、提示中包含的某些标签等将提示分为低质量提示和高质量提示。接下来，我们i)使用BLIP 对与高质量提示相关的图像进行caption，并将结果视为相应的低质量提示，因为说明文字较短且缺乏细节;ii)使用ChatGPT对高质量的提示进行总结，并将总结视为低质量的提示;iii)使用ChatGPT从低质量的提示生成更好的提示;结果被认为是高质量的提示。
文生图大模型中文基准测评2024.9月榜单公布，6大维度34大任务14大模型
最新发布
FeelTouch Labs
03-26 303
---逐项打分开始----**内容完整性**：生成的图像文字内容与用户指定的"老四川江湖菜"不符，文字内容出现较大偏差。----逐项打分结束--------逐项打分开始----**内容完整性**：图像中的文字“老四川江湖菜”完整准确，符合用户的文本要求。具体操作方法为：抽取4个模型，按任务类型进行分层抽样，对各模型对应的120个任务输出答案的质量进行人工评价，并与GPT-4o的评分进行比较，考察GPT-4o评价与真实情况的吻合程度，给出相应的评分（优秀/良好/及格/不及格）。均有65分以上的优异表现。
51-61 CVPR 2024 最佳论文 | Rich Human Feedback for Text-to-Image Generation
AIgraphX
06-26 1880
受大模型中RLHF技术启发，团队用人类反馈来改进Stable Diffusion等文生图模型，提出了先进的RichHF-18K数据集和多模态RAHF模型。
图像生成指标
qq_45670134的博客
03-19 1082
5种图像生成指标的介绍
【多模态LLM】多模态理解评测标准（图生文）
发现问题，并解决问题，批判性思维
08-03 2448
# note - 评测图片识别、理解、分析、推理能力；评测多轮对话；扩大评测场景（日常生活、教育娱乐等） - SuperClue-V采用6个标准，即正确性、相关性、流畅性、知识延伸、输出样式多样化、多感官信息融合，来定量的评价模型在所构建的指标下的表现能力，其中正确性、相关性、流畅性这三个指标设置为基础等级，旨在区分头部模型与一般模型的能力，而知识延伸、输出样式多样化、多感官信息融合这三个指标设置为扩展等级，旨在进一步区分头部模型之间的能力 @[toc] # 一、图生文LLM评测标准 文章地址：ww
文生图微调数据集介绍
weixin_44916682的博客
03-18 1201
数据集
文本生成图像工作简述2--常用数据集分析与汇总
白洞，白色的明天在等着我们
11-23 1万+
文本生成图像（text-to-image）可以根据给定文本生成符合描述的真实图像，其是多模态机器学习的任务之一，具有巨大的应用潜力，如视觉推理、图像编辑、视频游戏、动画制作和计算机辅助设计。 本篇将简述文本生成图像的数据集，汇总介绍数据集的内容、特点、细节和下载方式等。
什么样才算好图——从生图模型质量度量方法看模型能力的发展
淘系技术
02-28 3450
本文总结了近10年来的生图模型论文中用到的评价指标，并尝试解答两个问题不同时期的评价标准都有哪些特点？图片质量的评价如何辅助模型的迭代？前言随着各种文生图模型逐渐从toy project进入到生产链路，在线上实际落地并产生业务价值，同时自研/来源模型也进入了快速迭代的阶段。一套直指问题、综合拓展性和复用性的评价指标变得尤为宝贵，从效果上来讲，如果说数据质量决定了模型效果的上限，那么指标的好坏直接决...
动态矩阵控制matlab程序_动态矩阵控制DMC
05-26
好的，您想了解动态矩阵控制（DMC）的 Matlab 程序，下面是一个简单的示例： ```matlab % 设定控制系统参数 N = 50; % 预测长度 Nu = 10; % 控制长度 lambda = 1; % 控制器权重 % 定义系统模型 s = tf('s'); G = 1 / (s^2 + 2*s + 1); Ts = 1; % 采样时间 Gd = c2d(G, Ts); % 离散化 % 计算预测模型 [A, B, C, D] = ssdata(Gd); Mp = zeros(N, Nu); for i = 1:N for j = 1:Nu if (i >= j) Mp(i,j) = C * (A^(i-j)) * B; end end end % 计算控制器增益 I = eye(Nu); K = (Mp' * Mp + lambda * I)^(-1) * Mp'; % 开始控制 y = zeros(N, 1); % 初始化输出 u = zeros(Nu, 1); % 初始化控制输入 sp = ones(N, 1); % 设定参考输入信号 for k = 1:100 % 更新输出 y(k) = C * (A^k) * y(1) + Mp * u - Mp(:,1) * (sp(k) - y(1)); % 计算控制输入 delta_u = K * (sp(k:k+N-1) - y(k:k+N-1)); u = u + delta_u; end % 绘制结果 subplot(211); plot(1:100, y); title('输出响应'); subplot(212); plot(1:100, u); title('控制输入'); ``` 这是一个简单的 DMC 控制器的实现，其中包括系统模型的离散化、预测模型的计算、控制器增益的计算以及控制器的应用。这个程序可以根据您的实际需求进行修改和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值