CreativityPrism: A Holistic Benchmark for Large Language Model Creativity

文章核心总结与创新点

主要内容

本文提出了一个名为CREATIVITYPRISM的LLM创造力评估框架，将创造力分解为质量、新颖性和多样性三个核心维度，涵盖发散思维、创意写作、逻辑推理三大领域的9项任务和20个评估指标。通过对17个主流开源和专有LLM的测试发现：专有模型在创造力表现上显著优于开源模型，尤其在逻辑推理和创意写作领域；同一领域内的任务表现相关性强，而跨领域相关性弱；多样性与质量维度的表现高度相关，但两者与新颖性维度相关性较低，证明单一任务或维度无法全面衡量LLM的创造力。

创新点

1. 提出首个整合质量、新颖性、多样性三维度的 holistic创造力评估框架，解决现有评估碎片化问题。
2. 覆盖三大核心领域和9项代表性任务，结合20个任务专属指标，实现多场景下的规模化自动评估。
3. 系统分析了17个SOTA模型的创造力表现，揭示了模型在不同维度、领域间的性能关联规律。
4. 验证了LLM-as-a-judge的可靠性，为创造力评估提供了高效、可扩展的自动解决方案。

---

翻译部分（Markdown格式）

Abstract

创造力通常被视为人类智能的标志。尽管大型语言模型（LLMs）越来越多地被认为能够生成富有创意的文本，但目前仍缺乏一个全面的框架来评估它们在不同场景下的创造力。现有评估方法较为零散，在不同领域和任务间存在巨大差异，这主要源于对创造力的定义和衡量方式各不相同