11、文本与语音基础：技术原理与应用实践

文本与语音基础：技术原理与应用实践

1. 语言模型平滑与未登录词处理

1.1 Kneser - Ney平滑

Kneser - Ney平滑是一种更有效且常用的方法。它通过从概率的低阶项中减去一个固定值进行绝对折扣，以忽略低频的n - 元语法。其公式为：
[P_{abs}(w_i|w_{i - 1}) = \frac{\max(c(w_{i - 1}w_i)-\delta,0)}{\sum_{w} c(w_{i - 1}w)} + \alpha p_{abs}(w_i)]

1.2 未登录词（OOV）问题

当一个词不在语言模型的词汇表中时，就会出现未登录词问题，这会给语言模型带来严重问题。解决方法如下：
- 引入特殊标记 ：在词汇表中引入特殊标记（如 <unk> ），在累积n - 元语法计数之前，将语料库中的未登录词替换为该标记，这样可以估计涉及未登录词的n - 元语法的转移概率，但会忽略语言信息。
- 近似n - 元语法匹配 ：将未登录的n - 元语法映射到词汇表中最接近的n - 元语法，接近程度基于某种语义接近度度量。
- 回退策略 ：基于计算包含未登录词项的较小n - 元语法的概念。如果没有找到三元语法，则计算二元语法；如果没有找到二元语法，则使用一元语法。

1.3 困惑度

困惑度是信息论中衡量概率分布对样本预测能力的指标，常用于评估语言模型的性能。其计算公式如下：
[P(W) = P(w_1w_2 \cd