中文命名实体识别的半联合标注方法
1. 引言
在许多中文自然语言处理应用中,分词信息至关重要。根据分词信息的融入方式,命名实体识别(NER)方法可分为基于字符和基于词的两类。然而,现有的方法都无法动态地联合考虑NER和分词标签之间的相互作用。为解决这一问题,提出了联合学习方法,本文在此基础上提出了一种新颖的中文NER标注表示——半联合标注,它能部分整合分词标签和命名实体标签,有效解决多层标注可能带来的高计算成本问题。
2. 中文分词与命名实体识别
中文分词和命名实体识别是自然语言处理中的重要任务。分词信息能为NER提供有价值的信息,例如词和命名实体的边界不能交叉或重叠。将分词信息融入NER模型有两种方式:
- 基于字符的方法 :以字符作为标注的基本单元,避免了分词器潜在错误的传播,但未充分考虑分词信息。常见做法是采用级联训练和测试方法,将分词器的输出作为NER模型的特征。例如,Guo等人在基于字符的模型中使用分词信息作为特征。
- 基于词的方法 :以词作为基本标注单元。但由于需要分词器的输出作为基本标注令牌,分词错误会传递到NER模型中。
| Characters | ֘ | 㔫 | ᮃ | ᘏ | 㒳 | ᱂ | Ҁ | 䇈 |
|---|---|---|---|---|---|---|---|---|
超级会员免费看
订阅专栏 解锁全文
5

被折叠的 条评论
为什么被折叠?



