Toward Informal Language Processing: Knowledge of Slang in Large Language Models

本文是LLM系列文章，针对《Toward Informal Language Processing: Knowledge of Slang in Large Language Models》的翻译。

摘要

大型语言模型（LLMs）的最新进展为自然语言系统处理非正式语言提供了巨大的潜力。俚语是非正式语言的一种代表形式，常用于日常对话和在线社交媒体。迄今为止，俚语在LLM中尚未得到全面评估，部分原因是缺乏精心设计且可公开访问的基准。我们使用电影字幕构建了一个数据集，支持对与俚语自动处理相关的各种任务进行评估。对于评估和微调，我们展示了我们的数据集在两个核心应用程序上的有效性：1）俚语检测，2）从自然句子中识别俚语的区域和历史来源。我们还展示了如何使用我们的数据集来探测LLM的输出分布，以获得解释性见解。我们发现，虽然GPT-4等LLM在零样本设置中实现了良好的性能，但在我们的数据集上微调的类似BERT的较小模型实现了类似的性能。此外，我们还表明，我们的数据集能够对GPT-3.5等LLM进行微调，从而实现比强大的零样本基线更好的性能。我们的工作基于OpenSubtitles语料库对英语俚语进行了全面的评估和高质量的基准测试，既是一个可公开访问的资源，也是一个应用非正式语言处理工具的平台。

1 引言

2 相关工作

3 数据

4 实验

5 结论

我们对大型语言模型中的俚语知识进行了全面的调查。我们发现，与类似BERT的模型相比，较大的GPT模型对俚语的了解更多：1）更好地检测自然句子中的俚语，2）更准确地识别俚语使用的区域来源和时间段，3）更好地预测俚语相对于其字面对应物的使用情况。尽管GPT在这些俚语处理任务中具有优