64、用于子字符表示学习的双长短期记忆网络

用于子字符表示学习的双长短期记忆网络

1. 引言

在自然语言处理（NLP）中，字符通常被视为最小的处理单元。然而，许多非拉丁语系语言具有象形文字书写系统，其字母表庞大且复杂，每个字符可分解为更小的部分或子字符，这些部分都有特殊含义。但现有的方法常将字符作为最小处理单元，忽略了非拉丁字符内部的信息。早期利用子字符信息的工作，通常将其与字符分开处理，忽略了部分子字符本身也常被用作普通字符的语言现象。

以中文为例，每个汉字都有几个部首，它们作为语义或语音成分，具有丰富的语义信息。例如，“鲤”和“鲢”都有“鱼”这个部首，它们在语义上都与鱼相关；“河”和“沟”都有“水”这个部首，都与水有关。为了利用这些语义信息，我们提出了一种新颖的神经网络架构，用于联合学习字符和子字符的表示。

为了验证我们联合学习的表示的有效性，我们在中文分词（CWS）任务上进行了广泛的实验。中文是一种典型的非分段语言，没有明确的单词分隔符，因此中文分词是后续中文语言处理任务的初步预处理步骤。

2. 相关工作

2.1 部首嵌入

为了利用汉字内部的语义信息，之前有不少相关研究。例如，Sun 等人通过 softmax 分类层引入部首信息来丰富汉字嵌入；Li 等人提出 charCBOW 模型，将字符级和组件级上下文嵌入的串联作为输入；Shi 等人在通过 CBOW 预训练的部首嵌入之上提出了深度卷积神经网络（CNN）；Dong 等人使用两个级别的长短期记忆网络（LSTM），分别以字符嵌入和部首嵌入作为输入。

我们的工作与 Dong 等人的工作密切相关，但有两个主要区别。在预训练阶段，他们的字符嵌入是分别预训练的，使用传统的 word2vec