Am I Blue or Is My Hobby Counting Teardrops? Expression Leakage in Large Language Models as a Sym...

文章主要内容和创新点

主要内容

本文聚焦大型语言模型（LLMs）中的“表达泄漏（expression leakage）”现象，即当输入中包含情感丰富但语义无关的内容时，模型生成的输出会出现系统性的情感偏移，且这种偏移与输入的语义无关。

• 为研究该现象，作者构建了人工标注的基准数据集HEXL（60个样本，180个提示变体）和自动生成的数据集AEXL（200个样本，600个提示变体），并设计了一套自动评估框架，通过情感估计器量化输出的情感偏移，无需依赖人工标注即可快速 benchmark。
• 实验发现：同一LLM家族中，模型参数规模越大，表达泄漏程度越低；指令微调模型相比基础模型能减少一定泄漏，但仅通过提示词无法有效缓解泄漏；负面情感注入比正面情感更易干扰生成过程，导致更高的泄漏率。

创新点

1. 提出新现象：首次定义“表达泄漏”，区别于“语义泄漏”（语义无关概念导致的事实偏差），聚焦情感或风格层面的非预期偏移（即“说什么” vs “怎么说”的差异）。
2. 数据集构建：创建人工控制的HEXL数据集和可扩展的自动生成方案AEXL，支持系统性评估。
3. 自动评估框架：设计基于情感估计器的量化指标（平均表达泄漏率），与人类判断高度相关，实现高效评估。
4. 实证发现：验证了LLMs普遍存在表达泄漏，揭示模型规模、指令微调、情感类型对泄漏的影响规律。