GENERALIZATION THROUGH MEMORIZATION: NEAREST NEIGHBOR LANGUAGE MODELS

Abatract

我们引入了kNN-LMs，它扩展了一个预先训练的神经语言模型（LM），通过与k个最近邻（kNN）模型线性插值。最近邻是根据预先训练好的LM嵌入空间中的距离进行计算的，并可以从任何文本集合中提取，包括原始的LM训练数据。
定性地说，该模型在预测罕见的模式方面特别有用，如事实知识。总之，这些结果强烈地表明，学习文本序列之间的相似性比预测下一个单词更容易，而最近邻搜索是一种在长尾进行语言建模的有效方法。

1 introduction

我们提出了一种新的语言建模方法，它基于表示学习问题可能比预测问题更容易的假设。
我们提供了强有力的证据，表明现有的语言模型在第一个问题上更好，通过在一个简单的最近邻方案中使用它们的前缀嵌入，显著提高了整体性能。
我们引入了kNN-LM，这是一种通过线性插入LM与k-最近邻（kNN）模型的其下一个单词分布来扩展预训练的方法。最近邻是根据预先训练的嵌入空间中的距离计算的，可以从任何文本集合中提取，包括原始的LM训练数据。这种方法允许显式地记忆罕见模式，而不是隐式地在模型参数中。当使用相同的训练数据来学习前缀表示和kNN模型时，它还提高了性能，这强烈表明预测问题比以前所认识到的更具挑战性。
通过使用kNN对next word的概率分布进行线性插值 对PLM进行扩展。
最近邻是根据预先训练的嵌入空间中的距离计算的，可以从任何文本集合中提取，包括原始的LM训练数据。这种方法允许显式地记忆罕见模式，而不是隐式地在模型参数中。当使用相同的训练数据来学习前缀表示和kN