42、韩语词性标注与电信规范多模态环境研究

韩语词性标注与电信规范多模态环境研究

1. 韩语词性标注模型

在韩语词性标注研究中，为了估计 $P(w|t_{i - 1})$，需要更大的训练文本。为解决数据稀疏问题，采用了著名的插值方法，插值系数 $\lambda$ 通过删除插值算法计算。对于许多模糊语素，可以利用前一个语素的类别进一步处理。例如，“cwun” 可分析为 “cwuta”（动词，“给予”） + “n”（定语词尾，时态）和 “cwulta”（动词，“减少”） + “n”（定语词尾，时态）。由于 “cwuta” 和 “cwulta” 都是动词，它们具有相同的转移概率，但考虑前一个助词时，区分能力会增强。从训练模型中可知，$P(‘cwuta’│jca,pv)$ 为 0.003882，$P(‘cwuta’│jca,pv)$ 为 0.000162，因此考虑与前一个语素类别的关系有助于区分类别。

1.1 实验数据

使用 KIBS1 标注语料库（1995）进行模型训练和测试，将标注语料库分为三部分：
- 一组 476,090 个标注的词组，作为训练数据用于构建模型。
- 一组 10,698 个标注的词组，用于估计插值系数。
- 一组 10,702 个标注的词组，作为测试数据用于测试模型。

为简化隐马尔可夫模型的词典，韩语文本标注前需要进行一定深度的形态分析。为避免形态分析错误带来的噪声，从测试数据中排除不包含有效分析候选的句子，即测试中形态分析的召回率设为 100%。训练后的隐马尔可夫网络反映了语素和词组关系，包含 712 个节点和 28,553 条边，词性标签数量为 52，每个词组的平均歧义度为 5.06。

1.2 实验结果

实