文生图模型测评之HPS v2

最新推荐文章于 2025-08-25 19:24:46 发布
最新推荐文章于 2025-08-25 19:24:46 发布
阅读量854 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： stable diffusion AIGC text2img
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/134321448
本文介绍了文生图模型的评估基准HPS v2，包括构建大规模人类偏好数据集的过程，以及基于CLIP微调的偏好预测模型。HPS v2用于衡量文本到图像合成模型的生成质量，通过对434k图片的798k偏好对进行标注，提供了一种有效验证生成图片质量的方法。

在这里插入图片描述

文章目录

在 文生图模型评测之PickScore 一文中我们介绍了 PickScore 构建的人类偏好数据集以及打分函数，本文介绍的内容与 PickScore 非常类似：首先也是公布了一个文生图人类偏好数据集，其次开源了一个人类偏好预测模型，并且与PickScore类似也是基于CLIP作为backbone进行微调而得到。

1. 简介

最近文生图模型已经能够生成高真实度的图片，但是生成图片的质量却无法被准确的验证。为了处理这个问题，本文构建了一个人类偏好数据集，叫做HPD v2，其中从434k图片中选择出了798k的人类偏好数据。数据集中的prompt和图片都是精心挑选以消除潜在的偏见。此外，通过在HPD v2上微调 CLIP 模型，得到一个在生成图片上

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Human preference score v2: a solid benchmark for evaluating human preferences of text-to-image synth
liguandong
10-09 746
包括了79.8w个图像对的人工比较注释，在数据集收集过程中，关注潜在的偏差问题，1.偏差来源于图像源，hpdv2包含了9个最新的文本到图像生成模型生成的图像，以及coco captions数据中的真实图像，2.文本提示偏差，用户编写的提示，例如diffusiondb中的提示，通常遵循描述加上几个样式词的组织方式，其中样式词经常包含矛盾之处，让标注着难以理解，使用chatgpt去除样式词并将提示组织成一个明确的句子。我们雇佣了57个人来标注数据，其中50人负责图像排序，7负责质量控制。hpsv2指标更高。
文生图模型评测之PickScore
orangerfun的博客
11-09 1820
PickScore
Human Preference Score v2(HPSv2):评估文本到图像生成模型的可靠基准
m0_75126181的博客
09-23 2273
为了解决这个问题,研究人员提出了Human Preference Score v2(HPSv2),这是一个新的基准测试,旨在更可靠地评估文本到图像生成模型的人类偏好。它不仅提供了更准确的评估指标,也为未来的研究指明了方向。随着文本到图像生成技术的不断发展,像HPSv2这样的评估基准将在推动技术进步和确保生成内容质量方面发挥越来越重要的作用。Human Preference Dataset v2(HPD v2):这是一个大规模的人类标注数据集,包含了798,090个人类偏好选择,涵盖了433,760对图像。
如何自动化地评估 AIGC 生图的质量？
2401_84033492的博客
06-05 2497
在AIGC生图过程中，进行图像质量的自动化评估，能快速进行打分、节省人工成本，更准确的进行模型效果比较，以促进模型迭代。对于特定场景的自动化评估，则需要建立对应的评估体系，包括评分准则、特定数据集、打分模型。我们团队正在进行家装行业AIGC的相关研发，以提高家装AI模型的效果。我们希望与对此方向感兴趣的同学一起探讨和交流。参考文献。
【亲测免费】 开源项目推荐：Human Preference Score v2
gitblog_00990的博客
01-08 359
开源项目推荐：Human Preference Score v2 Human Preference Score v2（HPS v2）是一个用于评估文本到图像生成模型的人为偏好的开源项目。该项目主要使用Python编程语言开发。 项目基础介绍 HPS v2 是一个旨在为文本到图像生成模型提供稳定、公平且易于使用的评估方法的基准。它包括一个大规模的人类偏好选择数据集（Human Preference ...
HPS v2：文本到图像生成模型的基准测试工具
gitblog_00836的博客
09-25 1434
HPS v2：文本到图像生成模型的基准测试工具 项目介绍 HPS v2（Human Preference Score v2）是一个用于评估文本到图像生成模型的人类偏好基准测试工具。该项目基于论文《Human Preference Score v2: A Solid Benchmark for Evaluating Human Preferences of Text-to-Image Synthes...
文生图模型stable-diffusion-webui
08-06
文生图模型stable-diffusion-webui是一个基于stable diffusion的深度学习模型，专门用于图像生成。它通过深度神经网络来学习图像数据中的模式和结构，从而能够在用户输入特定的文本描述后，自动生成对应的高质量图像...
文生图模型生成结果评估标准
Linda的自动化测试之旅
08-18 1299
文生图模型评估标准摘要 本文提出了6个维度的文生图生成结果评估标准： 图文匹配度：评估画面与文本描述的契合程度 画面质量与美感：考察清晰度、技术缺陷和视觉美感 细节处理与合理性：关注元素细节、逻辑一致性和物理合理性 构图与布局：评价画面组织、空间安排和视觉平衡 风格一致性：检查艺术风格统一性和与提示的符合度 创意发挥（可选）：评估在忠实提示基础上的新颖性和艺术表现力 每个维度采用5分制，从1分（最差）到5分（最优）分级描述特征。评估建议基于清晰文本提示进行独立打分，可计算平均值或加权值，并注意评估中的主观因
文生图模型开源之光！ComfyUI - AuraFlow本地部署教程
SJJS_1的博客
12-09 2154
AuraFlow 是唯一一个真正开源的文生图模型，由Fal团队开源，其代码和权重都放在了 FOSS 许可证下。基于 6.8B 参数优化模型架构，采用最大更新参数化技术，还重新标注数据集提升指令遵循质量。在物体空间和色彩上有优势。并支持在线试用和与主流平台集成。未来有望在多领域广泛应用，以开源特色和强大实力吸引更多用户和开发者。下面将介绍AuraFlow的本地部署教程，希望能帮助到大家~
【AI产品测评】AI文生图初体验
weixin_45589713的博客
12-27 706
文生图初体验
HPSv2 项目使用教程
gitblog_00356的博客
09-25 970
HPSv2 项目使用教程 1. 项目介绍 HPSv2（Human Preference Score v2）是一个用于评估文本到图像生成模型的人类偏好基准。该项目提供了一个大规模的、高质量的数据集（HPD v2），以及一个基于该数据集训练的偏好预测模型（HPS v2）。HPSv2 可以帮助研究人员和开发者比较不同文本到图像生成模型在生成图像时的表现，从而选择最适合特定应用场景的模型。 2. 项目快速...
免费的“文生图“ AI 生成器测评推荐
TOPSTIP的博客
05-24 6613
ChatGPT 升级版的 DALL·E 制作图片，但是每个月必须付费升级，所以我经过测评选出了五款最佳的免费"文生图" AI 生成器，并介绍了它们的特点，优缺点，以及免费使用限制。
Human preference score:better aligning text-to-image models with human preference
liguandong
10-09 717
提出了通过明确区分首选和非首选图像来适应生成模型，构建了另一个数据集，其中包括提示及其新生成的图像，并根据之前训练的人类偏好分类器将其分类为首选或非首选，对于非首选图像，我们通过在相应的提示前添加特殊前缀来修改它，通过lora来训练，增加了模型学习非首选图像概念的能力，其实就是dreambooth的做法，只不过这里多给了模型一个首选和非首选的图像概念，而数据集可以通过hps分类器构造。在sd的discord收集了一个关于生成图像的人类偏好数据集，用此数据集训练了一个人类偏好的评分，hps。
【图像生成模型评价指标】-- HPS及实践
steptoward的博客
11-06 948
【图像生成模型评价指标】-- HPS及实践。
视觉领域常见Reward Model安装使用
weixin_44484078的博客
11-01 704
但是我发现如果直接使用2.0版本的hps似乎不会遇到这个问题。所以尝试先用2.0版本的下载以后再使用2.1版本。imgs path 放你图片的路径，prompt改成你的图片， hps可以选择2.1或者2.0版本。（2.1版本需要自动下载，所以需要可以科学上网，2.0版本可以去github下载权重）从刚才下载好的git仓库里mv 到缺少的路径那。有可能会遇到没有clip bpe的问题。有可能会遇到没有tkinter的问题。移动到python的包找不到路径的地方。两个都要下载因为pip安装的不完整。
深入PickScore_v1：CLIP模型微调与训练细节
最新发布
gitblog_00610的博客
08-25 625
深入PickScore_v1：CLIP模型微调与训练细节 【免费下载链接】PickScore_v1 项目地址: https://ai.gitcode.com/hf_mirrors/yuvalkirstain/PickScore_...
这可能是最强AI文生图工具：Stable Diffusion 3 超详细测试
A1353192296的博客
04-25 2637
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
大模型评测指南-生成篇
2401_85378759的博客
12-03 1217
进行评测之前，首先要明确评测对象：是评测大模型生成文本的质量，还是评测大模型应用（例如RAG）的性能？两者之间存在一定关联性，但又不尽相同。本文介绍评测大模型生成能力的指标和方法。
什么样才算好图——从生图模型质量度量方法看模型能力的发展
淘系技术
02-28 4032
本文总结了近10年来的生图模型论文中用到的评价指标，并尝试解答两个问题不同时期的评价标准都有哪些特点？图片质量的评价如何辅助模型的迭代？前言随着各种文生图模型逐渐从toy project进入到生产链路，在线上实际落地并产生业务价值，同时自研/来源模型也进入了快速迭代的阶段。一套直指问题、综合拓展性和复用性的评价指标变得尤为宝贵，从效果上来讲，如果说数据质量决定了模型效果的上限，那么指标的好坏直接决...
文生图模型美学评测
03-13
### 文生图模型的美学评测方法与指标 评估文生图模型生成图像的质量通常涉及多个维度，其中包括视觉逼真度、语义一致性以及美学质量。以下是关于文生图模型美学评测的主要方法和指标： #### 1. 主观评价（Human Evaluation） 主观评价是最直接的方式之一，通过让评分者对生成图像进行打分来衡量其美学价值。这种方法可以分为以下几种形式： - **偏好测试**：给定两组或多组图像，评分者选择更喜欢的一组[^2]。 - **单项评分**：评分者基于特定标准（如清晰度、美感、创意等）为单张图像打分。 尽管主观评价能有效捕捉人类审美倾向，但它也存在耗时长、成本高以及结果受个体差异影响较大的缺点。 #### 2. 客观数量化指标 为了弥补主观评价的不足，研究者开发了一系列客观数量化指标用于自动评估生成图像的美学质量。常见的指标包括但不限于以下几个方面： ##### a. Fréchet Inception Distance (FID) FID 是一种广泛使用的生成对抗网络性能评估工具，它可以计算真实数据分布与生成样本之间的距离。虽然 FID 更侧重于整体相似性和多样性而非纯粹的艺术风格匹配程度，但在一定程度上也能间接反映出某些类型的美观特性[^3]。 ##### b. CLIPScore CLIPScore 结合了自然语言处理技术和计算机视觉技术的优势，利用预训练好的对比学习框架（Contrastive Language–Image Pre-training, CLIP），分别提取文本描述特征向量和图片表示空间中的位置关系作为输入参数；最终输出一个介于0到1之间的小数用来表征两者间契合水平——数值越高表明二者越接近理想状态即既忠实还原原始指令又具备良好外观属性。 ##### c. LPIPS (Learned Perceptual Image Patch Similarity) LPIPS 考虑到了人眼感知上的细微差别，在低层次像素级误差基础上融入高层语义信息从而更加贴近实际用户体验效果。因此当应用于艺术创作领域内的作品评判环节时往往表现出色因为它们倾向于奖励那些具有强烈个人特色或者独特表达方式的画面构图而不是单纯追求精确复制原物象外形轮廓而已。 ##### d. AMT (Amazon Mechanical Turk Tests) 有时也会借助众包平台比如 Amazon MTurk 来收集大量匿名用户的反馈意见进而得出统计意义上的结论有关某款产品或服务的整体受欢迎程度如何等等情况下的参考依据之一便是此类在线问卷调查活动所得出来的平均得分状况报告等内容资料来源说明如下所示。 #### 3. 综合考量因素 除了上述提到的一些具体的技术手段之外还需要注意到其他一些可能会影响最后评定结果的因素例如文化背景差异可能导致不同地区人群对于色彩搭配喜好偏向有所不同; 年龄性别职业等因素也可能造成各自偏爱不同类型题材内容的现象发生所以最好能够在设计实验方案之初就充分考虑到这些潜在变量并采取适当措施加以控制以便获得更为可靠稳定的测量值范围区间内合理估计目标群体普遍认可接受的标准阈限设定原则等方面的知识要点归纳总结起来就是一句话概括得好不好看不仅仅取决于算法本身还要考虑使用者的需求特点才行啊朋友们记住了吗哈哈😊 ```python import numpy as np from scipy.spatial.distance import cosine def calculate_fid(real_features, generated_features): mu_real = np.mean(real_features, axis=0) sigma_real = np.cov(real_features, rowvar=False) mu_gen = np.mean(generated_features, axis=0) sigma_gen = np.cov(generated_features, rowvar=False) fid_value = _compute_frechet_distance(mu_real, sigma_real, mu_gen, sigma_gen) return fid_value def _compute_frechet_distance(mu1, sigma1, mu2, sigma2, eps=1e-6): diff = mu1 - mu2 covmean, _ = linalg.sqrtm(sigma1.dot(sigma2), disp=False) if not np.isfinite(covmean).all(): msg = ('fid calculation produces singular product; ' 'adding %s to diagonal of cov estimates') % eps warnings.warn(msg) offset = np.eye(sigma1.shape[0]) * eps covmean = linalg.sqrtm((sigma1 + offset).dot(sigma2 + offset)) tr_covmean = np.trace(covmean) return (diff.dot(diff) + np.trace(sigma1) + np.trace(sigma2) - 2 * tr_covmean) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值