2025_NIPS_The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature...

文章核心总结与创新点

主要内容

文章聚焦大型语言模型（LLMs）的语用理解能力，通过设计二元会话含义推理任务（判断隐含“是”或“否”），评估了四类模型（基础预训练模型、对话微调模型、基准级指令微调模型、示例级指令微调模型）的表现。研究发现，前三类模型的推理准确率接近随机水平（约60%），而示例级指令微调模型表现显著更优，GPT-4经思维链提示后可达人类平均水平（86.5%）。同时，模型在依赖语境的特殊化含义推理上仍存在短板，且模型规模与示例级指令微调结合能进一步提升语用理解能力。

创新点

1. 明确将会话含义推理作为LLMs语用理解的核心评估维度，填补了现有基准对语境依赖型语言理解的评估空白。
2. 设计了零样本、少样本及思维链提示的综合评估方案，通过对比连贯与不连贯语句的概率差异，精准衡量模型的含义推理能力。
3. 揭示了示例级指令微调（为每个样本设计独立指令）是诱导模型语用理解的关键策略，为LLM优化提供了明确方向。
4. 首次系统对比四类不同训练策略的模型表现，发现语用理解无法仅通过大规模预训练或基准级指令微调实现。

---

翻译部分（Markdown格式）

Abstract

尽管大型语言模型（LLMs）已被广泛用作对话代理，但性能评估尚未涵盖沟通的关键环节：结合语用学在语境中解读语言。人类会利用对世界的信念和先验知识理解语言，例如，我们能直观地将“你留下指纹了吗？”这一问题的回应“