Revisiting subword tokenization: A case study on affixal negation in large language models

本文是LLM系列文章，针对《Revisiting subword tokenization: A case study on affixal negation in large language models》的翻译。

摘要

在这项工作中，我们衡量了词缀否定对现代英语大语言模型（LLMs）的影响。在词缀否定中，被否定的意义是通过否定语素来表达的，这对LLM来说可能是一个挑战，因为它们的标记者在形态上往往不合理。我们使用具有不同子词标记化方法的LLM进行了广泛的实验，从而对标记化性能和否定敏感性之间的相互作用有了一些见解。尽管标记化准确性和否定检测性能之间存在一些有趣的不匹配，但我们表明，总体而言，模型可以可靠地识别词缀否定的含义。

1 引言

2 相关工作

3 实验设置

4 发现

5 token归属研究

6 结论

7 局限性

在这项工作中，我们对现代LLM如何处理词缀否定进行了深入分析，词缀否定是一种否定类型，其中形态对于理解单词语义至关重要。我们已经证明，在生成保留负词缀的标记方面，当前的标记化方法还有很大的改进空间。尽管如此，形态上不正确的标记化对模型在下游任务（包括情感分析）中理解词义的能力的影响很小。无论如何，设计更好的子词标记化方法可能会带来许多直接的好处，例