41、平行语料库词汇估计与韩语词性标注方法

平行语料库词汇估计与韩语词性标注方法

1. 平行语料库中的词汇估计

1.1 IP 值计算

在平行语料库的词汇估计中，涉及到 IP（Initiating Point）值的计算。IP 值的计算公式为：$IP = ((kj - 1) \times K’) + (K’ \times IPe)$，其中 $kj$ 代表包含目标词的部分，$K’$ 是每部分的单词数量（大致等于 $K$，$K$ 是语料库长度的平方根），$IPe$ 是用于估计该部分起始点的偏移因子。当 $IPe$ 取中性值 0.5 时，IP 位于包含目标词部分的中间位置。例如，若技术出现在第 23 部分，且每部分有 150 个单词，假设 $IPe = 0.5$，对于源词 “years” 的目标文本对齐的 IP 为：$((23 - 1) \times 150) + (150 \times 0.5) = 3375$，即该 IP 位于目标语言语料库的第 3375 个单词处。

1.2 VBE 算法

VBE（Vocabulary Estimation）利用了 Fung & Church 的语料库分割信息，可看作是对 K - vec 过程产生的 $I$ 和 $t$ 值的过滤过程。以下是 VBE 算法的具体步骤：
1. 从 K - vec 过程创建的目标语言语料库分割信息中确定所有 IP 值，每个目标词实例对应一个 IP。
2. 在每个 IP 处，创建一个包含位于 IP 处的单词以及其左右各 $c$ 个单词的袋子，$c$ 的值基于所需的粒度程度。
3. 检查袋子中的单词是否仅出现在袋子中，而不在目标语言语料库的其他地方。如果是，则停止；如果否，则将 $c$ 的大小增加一个增量因子