从文本生成场景图(1)——SPICE:Semantic Propositional Image Caption Evaluation

最新推荐文章于 2025-09-17 02:04:28 发布

原创

最新推荐文章于 2025-09-17 02:04:28 发布 · 3.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习

SPICE是一种基于图的语义表示方法，用于评价文本生成的caption。它通过PCFG依赖解析器将caption转化为场景图，并计算objects、attributes和relationships的F-score。该方法考虑了依赖关系树的简化、代词解析和复数处理，最终通过F1分数评估候选caption的质量。METEOR作为补充，关注词序和匹配的一元组数量。

SPICE是一种文本生成的评价方法. SPICE 使用基于图的语义表示来编码 caption 中的 objects, attributes 和 relationships。首先,它将待评价的captions和参考captions通过一种名为概率上下文无关文法(Probabilistic Context-Free Grammar, PCFG)依赖解析器(dependency parser)解析成句法的依赖关系树(syntactic dependencies trees),然后利用基于规则的方法把dependencies tree映射成场景图。具体地，生成依赖关系树之后，通过3个后处理步骤（分别用于简化定量修饰符、解析代词和处理复数名词），然后根据九种简单的语言规则对生成的树结构进行解析，以提取对象、关系和属性，它们共同构成场景图。最后计算待评价的 caption 中 objects, attributes 和 relationships 的 F-score 值。
在这里插入图片描述
假设 $c$ 是一条待评价标注，称为候选标注， $s$ 是一条参考标注。上图中左下角是5条参考标注。通过候选标注生成场景图记为 $G (c)$ ，所有的参考标注 $s$ 组成参考标注集合 $S$ ，通过 $S$ 生成的场景图记为 $G (S)$ 。 $T(⋅)T(\cdot)$ 表示将一个场景图转换成一系列元组（tuple）的集合。
其中 $G(c)=\quad<O(c),E(c),K(c)>$ 元组的形式为 $T(G(c))⇔O(c)∪E(c)∪K(c)T(G(c))\hArr O(c)\cup E(c)\cup K(c)$
$O(c)⊆CO(c)\sube C$

最低0.47元/天解锁文章