自然语言处理NLP，如何使用AMBERT算法建立多粒度token预训练语言模型

字节跳动 Xinsong Zhang、李航两位研究者在细粒度和粗粒度标记化的基础上，提出了一种新的预训练语言模型，他们称之为 AMBERT（一种多粒度 BERT）。在构成上，AMBERT 具有两个编码器。

 

预训练语言模型如BERT在自然语言理解(NLU)的许多任务中表现出色。模型中的tokens通常是细粒度的，像英语是单词或sub-words或者是像中文字符。在英语中,例如,有多词表达形式的自然词汇单位,因此使用粗粒度标记似乎也是合理的。事实上，细粒度和粗粒度的标记化在学习预训练语言模型方面都有优缺点。在本文中，我们提出了一种新的基于细粒度和粗粒度标记的预训练语言模型，称为AMBERT(一种多粒度的BERT)。对于英语，AMBERT将单词序列(细粒度令牌)和短语序列(粗粒度令牌)作为标记化后的输入，使用一个编码器处理单词序列，另一个编码器处理短语序列，利用两个编码器之间的共享参数，最后创建单词的上下文化表示序列和短语的上下文化表示序列。