2025_NIPS_CLAWS:Creativity detection for LLM-generated solutions using Attention Window of Sections

文章核心总结与创新点

主要内容

本文聚焦LLM数学推理生成内容的创造力检测问题，针对现有研究中创造力定义模糊、依赖人工评估的痛点，提出了基于注意力窗口分析的检测方法CLAWS。该方法将输入提示划分为指南、问题、参考解法、指令四个部分，结合生成结果共五个语义片段，通过计算各片段的平均注意力权重及归一化比例，实现对生成解法“典型（Typical）、创造性（Creative）、幻觉（Hallucinated）”三类的自动分类。实验基于5个7-8B参数的数学推理LLM（DeepSeek-Math、Qwen-Math等），在包含4545道竞赛数学题的数据集上验证，CLAWS在创造力检测和幻觉检测任务中均优于Perplexity、Logit Entropy等五种现有白盒方法，且计算效率最高。

创新点

1. 提出首个无需人工评估的LLM推理生成创造力检测框架，明确三类解法的定义与分类标准，解决了推理任务中创造力评估的核心难题。
2. 设计CLAWS方法，利用注意力权重分析不同提示片段对生成结果的影响，通过简单的求和与平均运算实现高效检测，无需额外模型调用或复杂计算。
3. 构建全面的实验体系，涵盖5种评估策略、4类 metrics 和多难度数据集，同时验证了方法在创造力检测和幻觉检测中的双重有效性。

---