Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth

一、主要内容

1. 核心概念提出：首次引入“Drivelology”（无意义话语学）这一独特语言现象，其定义为“有深度的无意义话语”（nonsense with depth），这类话语句法连贯，但在语用层面存在矛盾、蕴含情感或具有颠覆性修辞特征，表面看似无意义，实则包含需通过语境推断、道德推理或情感解读才能理解的隐含意义。
2. LLM能力局限发现：研究发现，当前主流大型语言模型（LLMs）虽在众多自然语言处理（NLP）任务中表现出色，却始终无法掌握Drivelological文本的多层语义，在处理相关内容时存在明显不足。
3. 基准数据集构建：为深入研究该现象，构建了一个规模虽小但多样性丰富的基准数据集，包含1200多个精心筛选的示例，涵盖英语、普通话、西班牙语、法语、日语和韩语等多种语言。数据集标注过程极具挑战性，每个示例都需专家仔细审核以确保符合Drivelology特征，还需经过多轮讨论和判定来解决分歧，凸显了该语言现象的微妙性与主观性。
4. LLM评估与结果：对一系列LLMs在分类、生成和推理任务上进行评估，结果显示LLMs存在显著局限性，具体表现为：常将Drivelology与浅层无意义话语混淆、给出不连贯的解释、完全忽略隐含的修辞功能。这些发现揭示了LLMs在语用理解方面存在更深层次的表征差距，并对“统计流畅性等同于认知理解”这一假设提出了挑战。
5. 资源开放：研究团队发布了构建的数据集和相关代码，旨在为后续超越表面连贯性、探索语言深度建模的研究提供支持。
</