NLP论文速读（斯坦福大学）|使用Tree将语法隐藏到Transformer语言模型中正则化

论文速读|Sneaking Syntax into Transformer Language Models with Tree Regularization

论文信息：

简介：

        本文的背景是基于人类语言理解的组合性特征，即语言处理本质上是层次化的：语法规则将词级别的意义组合成更大的成分的意义，然后再组合成句子。然而，当前的神经模型，如变换器（Transformers），缺乏对这种树状结构的直接归纳偏差。尽管变换器在大规模数据上进行预训练以实现合理的泛化，但最新的研究表明，即使是最先进的大型语言模型（LLMs）仍然在组合性泛化方面存在困难，即在新环境中理解熟悉的词汇。因此，引入语法归纳偏差可能会在变换器语言模型中实现更稳健和数据高效的学习。

        本文的动机是基于以下几个方面：首先，人类语言处理的层次化特征表明，语法结构在语言理解中起着关键作用。其次