文本-图像生成（Text-to-Image Generation）的评价指标介绍——CLIPScore、TISE

最新推荐文章于 2025-11-29 02:23:59 发布
原创 最新推荐文章于 2025-11-29 02:23:59 发布 · 9.3k 阅读 · 32 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能 #图像处理

目录

CLIPScore: A Reference-free Evaluation Metric for Image Captioning

论文标题：CLIPScore: A Reference-free Evaluation Metric for Image Captioning
这一篇是针对Image Caption领域的评价指标，但是有些基于条件的Diffusion模型也使用了这个评价指标来衡量文本和生成图像的匹配程度。

背景

本文提出的CLIPScore（下文简称CLIPS）是不需要推理的评估指标，之前常见的基于推理模型的评价指标有 CIDEr 和 SPICE等（还有一些自检索的方式），类似FID和IS利用到训练好的inceptionv3网络计算图像分布之间相似性的得分。
代码链接：clipscore

简单的原理图
CLIP-Score

公式

对于CLIP-S，作者建议使用“A Photo Depicts”作为prompt会提高效果。
CLIP-S
其中，c和v是CLIP编码器对Caption和图像处理输出的embedding，w作者设置为2.5。这个公式不需要额外的模型推理运算，运算速度很快，作者称在消费级GPU上，1分钟可以处理4k张图像-文本对。
CLIP-S也可以包含参考文本进行评估。使用调和平均数（harmonic mean）计算结果：
调和平均数
最终公式如下：
公式
其中，R是图像对应的参考文本描述。

总结

作者建议对图像描述进行评估，一般需要一个

最低0.47元/天 解锁文章
TPAMI 2025 | T2I-CompBench++：用于组合式文本到图像生成的增强型综合基准测试
小白学视觉
05-02 325
尽管文本到图像的模型取得了显著进展，但它们在有效地合成包含多个具有不同属性和关系的对象的复杂场景时，往往存在困难。为了应对这一挑战，作者提出了T2I-CompBench++，这是一个用于组合式文本到图像生成的增强型基准测试。T2I-CompBench++包含8000个组合式文本提示，分为四个主要类别：属性绑定、对象关系、生成式数字能力和复杂组合。这些类别又进一步细分为八个子类别，包括新引入的3D空间关系和数字能力。除了基准测试，作者还提出了增强的评估指标，旨在评估这些多样化的组合挑战。
Work【3】：TRIG —— 解码多维度权衡，重塑生成模型评测与优化新范式！
BUPTer
08-12 1223
本文介绍了ICCV 2025论文《Trade-offs in Image Generation: How Do Different Dimensions Interact?》，提出TRIG-Bench基准和TRIGScore评估方法。该研究针对文本生成图像（T2I）和图像生成图像（I2I）任务，系统分析了10个评估维度（如真实感、原创性、美学等）之间的132种权衡关系。TRIG-Bench包含40,200个样本，通过成对维度子集设计实现细粒度评估。创新的TRIGScore利用视觉语言模型进行维度独立评分，并
文本生成图像Text-To-Image评估指标IS、FID、VSS、R-precision
MISS_XDY的博客
03-03 6231
IS分数（Inception Score）：衡量图像质量和多样性 FID距离（弗雷彻特初始距离）：衡量图像质量和多样性 VSS（Visual­Semantic Similarity）视觉语义相似度：衡量图像与输入文本的语义匹配度 补充信息熵的计算： IS分数，越高越好。 对于图像质量。借助了一个外部图像分类器。p(y|x)的熵越小，说明数据分布较为集中（熵越大，代表分布越混乱）。y表示类别标签，x表示生成的图像。如果图像可以以很高的置信度被判别为某一类别，说明具有很好的清晰度和辨识度；如果难.
论文翻译：Text-based Image Editing for Food Images with CLIP
zcyzcyjava的博客
02-02 1204
最近，大规模的语言-图像预训练模型，如CLIP，由于其对各种任务，包括分类和图像合成的显著能力而引起了广泛的关注。CLIP和GAN的组合可用于基于文本的图像处理和基于文本的图像合成。迄今为止，已经提出了几个CLIP和GAN的组合模型。然而，它们在食品图像领域的有效性还没有得到全面的研究。在本文中，我们报告了使用VQGANCLIP进行基于文本的食品图像处理的实验结果，并讨论了通过文本进行食品图像处理的可能性。随着智能手机和社交媒体的发展，人们在互联网上发布了各种照片。其中，最常张贴的照片之一是吃饭。
gitsigns.nvim社区贡献指南：如何参与开源插件开发的完整流程
最新发布
gitblog_00318的博客
11-29 897
想要为 **gitsigns.nvim** 这个强大的 Git 集成插件贡献力量吗？这份完整指南将带你了解从环境搭建到代码提交的完整流程，让你轻松迈出开源贡献的第一步！🚀 ## 🛠️ 开发环境准备 在开始贡献之前，你需要准备合适的开发环境： ### 基础依赖安装 - **Luarocks**：Lua 包管理器，可以通过 `brew install luarocks` 安装 - **Neo
Text-to-image Diffusion Model文本到图像扩散模型综述
weixin_44909476的博客
05-30 4882
Text-to-image Diffusion Model文本到图像扩散模型综述
Text to Image 文本生成图像定量评价指标分析笔记 Metric Value总结 IS、FID、R-prec等
热门推荐
白洞，白色的明天在等着我们
04-10 1万+
文本生成图像的评估是一个很有挑战性的工作，一个良好的t2i模型评价指标不仅要评估生成的图像是否真实，而且要评估文本描述与生成图像之间的语义相关性。
文本到图像生成模型（Text-to-Image Generator）
m0_51200050的博客
07-09 2268
这张图展示了一个文本到图像生成模型的工作原理，重点在于生成图像后的去噪过程。通过噪声预测器和多步迭代的去噪操作，最终生成清晰且符合文本描述的图像。这种方法在扩散模型和最近的生成对抗网络（GANs）等技术中被广泛使用，以提高生成图像的质量和细节。
生成专题1 | 图像生成评价指标 Inception Score （IS）
忽逢桃林的博客
03-02 5410
文章转自微信公众号：机器学习炼丹术 作者：陈亦新（欢迎交流共同进步） 联系方式：微信cyx645016617 文章目录1.1 感性理解1.2 数学推导1.3 KL散度的物理意义 1.1 感性理解 IS是Inception Score。 熵entropy可以被用来描述随机性：如果一个随机变量是高度可预测的，那么它就有较低的熵；相反，如果它是乱序随机的，那么它就是有较高的熵。这和训练分类网络所用的交叉熵是同一个道理。 如下图，我们有两个概率：高斯分布和均匀分布。可以推断出，高斯分布的entropy小于均匀分.
提示工程架构师藏私：DNA计算驱动Prompt生成的4个核心算法（附代码）
AI 领航者的博客
08-29 759
在AI时代，已成为连接人类意图与模型能力的关键桥梁。无论是文本生成、图像合成还是多模态任务，优质的Prompt都能让模型输出更符合预期的结果。然而，随着任务复杂度提升（如多模态融合、大规模Prompt库管理），传统Prompt生成方法（如规则模板、经验调参）逐渐暴露出等问题。此时，（DNA Computing）的出现为Prompt工程提供了全新的思路。作为一种基于生物分子的计算模式，DNA计算具有（10¹⁵个分子同时计算）、（1克DNA可存储10¹⁸字节数据）、（通过突变、重组实现优化）等优势。。
51c扩散模型~合集3
whaosoft~aiotの开发板商城
01-10 1718
更加要命的问题是，比如Diffusion-QL本身动作采样就是5步完成的，采样已经很不精确了，且扩散策略在训练初期，没收敛的模型采样出来的动作样本还有严重的数值问题（比如采出来个1e5这种离群点），现在采样不精确性造成的误差会进一步通过训练传导到Q函数中，Bootstrapping Q loss本身又不稳定。相比于传统基于扩散的时序模型，ARMD 并没有将时间序列预测视为从噪声起步的条件生成任务，而是充分利用时间序列数据的连续演化特性，实现了扩散机制与时间序列连续性之间的对齐，从而提升了模型性能。
图像生成指标
qq_45670134的博客
03-19 1218
5种图像生成指标的介绍
图像生成评价指标
人工智能原理与技术分享
08-15 4202
FID (Frechet Inception Distance) 是一种评价生成图片的质量好坏的评价指标，该值度量了生成图片分布与真实图片分布之间的距离，FID越小说明生成图片的真实性越高。Step2: 将生成的图片和真实图片通过Inception V3，得到每张图片的向量表示。将相同类别的图片放在一起计算每个embedding维度的均值和方差。CLIP Score 是衡量经过CLIP之后的文本表示和图片表示之间的Cosine Distance。
【GAN】用于生成图像的评价指标——IS和FID
NooahH的博客
01-30 1万+
在使用GAN进行图像生成任务中，我们的目的就是为了得到高质量的生成图像，那么总得需要个度量指标来衡量生成的图像是否是“高质量”的吧？不能完全靠人眼主观判断。这里提到生成图像的“高质量”，主要从两方面考虑： 图像本身的质量。如：是否清晰，内容是否完整，是否逼真等等。 多样性。最终的生成器所生成的图像需要多种多样的，不能只生成一种或几种类型的图像，产生的这种现象称为模式崩溃（Mode collaps...
Text2Image评价指标——CLIP Score
qq_45791526的博客
02-21 1万+
CLIP Score 评价指标代码实现
Text to image论文精读GR-GAN：逐步细化文本到图像生成 GRADUAL REFINEMENT TEXT-TO-IMAGE GENERATION
白洞，白色的明天在等着我们
06-03 3134
GR-GAN是北京邮电大学学者们发表的一篇文本生成图像的论文，本文提出了一种渐进细化生成对抗网络模型，GRG模块设计用于生成从低分辨率到高分辨率的图像，ITM模块设计用于提供相应阶段在句子图像级和单词区域级的图像-文本匹配损失。...
Text to image论文精读CogView: Mastering Text-to-Image Generation via Transformers(通过Transformer控制文本生成图像)
白洞，白色的明天在等着我们
03-06 9975
CogView是清华大学和阿里巴巴达摩院共同研究开发的一款，用Transformer来控制文本生成图像的模型。文章发表于2021年10月。 论文地址：https://arxiv.org/pdf/2105.13290v3.pdf 代码地址：https://github.com/THUDM/CogView
图像生成、图像分割及目标检测的常用评价指标
sunshineine的博客
06-10 1324
FID 利用Inception v3 网络对图像提取高层特征（通常是 pool3 层（2048维）），然后将这些特征视为服从高维高斯分布。对于生成图像集和真实图像集，我们分别得到它们在特征空间中的分布：（生成图像特征的均值和协方差）；（真实图像特征的均值和协方差）。然后用 Fréchet 距离（又称 2-Wasserstein 距离） 计算两者的分布差异：第一项是均值的欧式距离，第二项是协方差的距离（矩阵范数）。
图像生成（Text-to-Image）发展脉络
家鸽的代码屋
07-21 3955
图像生成（文生图）发展脉络梳理
node-html-to-image：Node.js模块实现HTML转图像功能
- **node-html-to-image-master**: 这个名称暗示了这是一个源代码仓库中的文件夹名称，通常表示主分支或主要版本的源代码。在GitHub等源代码托管平台中，添加"master"后缀是为了明确表示这是源代码的主分支。 综上...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值