32、高度屈折语的命名实体识别及主题 - 述题识别实验

高度屈折语的命名实体识别及主题 - 述题识别实验

一、高度屈折语的命名实体识别

1. 词性标注与词形还原工具

1.1 HMM 标注器

HMM（隐马尔可夫模型）标注器是一种标准的统计词形还原方法。其转移概率通过 3 - 元 Kneser - Ney 平滑估计，可借助常见机器学习库实现，使用 PDT 2.0 数据进行训练。

1.2 PDT 2.0 词形还原器

这是一个混合系统，主要由基于规则的形态分析器和基于特征的统计标注器组成。形态分析器依据含 350,000 条条目的词典和派生规则，系统还包含针对未登录词的统计猜测器。

1.3 Majka

Majka 是基于规则的形态分析器，能提供给定单词的所有可能词形，但不进行词形和标签的消歧。目前作者正在开发消歧工具，但尚未作为可用库发布。在实验中，我们总是选择最频繁的词形 - 标签对。

1.4 MorphoDiTa

MorphoDiTa 是基于平均感知机算法的先进形态分析工具。该算法源于标准 HMM，但转移和输出得分由大量二元特征及其权重决定。

2. NER 系统

NER 系统基于条件随机场（CRF），使用 Brainy 实现的 CRF。实验使用的特征集如下：
- 单词 ：出现至少两次的单词作为特征。
- 词形 ：词形还原方法如前文所述，出现至少两次的词形作为特征。
- 词缀 ：使用实际单词的前缀和后缀，长度为 2 到