11、文本与语音基础：技术原理与应用实践

文本与语音基础：技术原理与应用实践

1. 语言模型平滑与未登录词处理

1.1 Kneser - Ney平滑

Kneser - Ney平滑是一种更有效且常用的方法。它通过从概率的低阶项中减去一个固定值进行绝对折扣，以忽略低频的n - 元语法。其公式为：
[P_{abs}(w_i|w_{i - 1})=\frac{\max(c(w_{i - 1}w_i)-\delta,0)}{\sum_{w}c(w_{i - 1}w)}+\alpha p_{abs}(w_i)]

1.2 未登录词（OOV）问题

当词汇不在模型的词汇表中时，会出现严重的问题。对于包含未登录词的n - 元语法通常会被忽略，并且会对词汇表中的所有词进行平滑处理。处理未登录词的方法有：
- 引入特殊标记 ：在词汇表中引入特殊标记（如 <unk> ），在累积n - 元语法计数之前，将语料库中的未登录词替换为该标记。
- 近似n - 元语法匹配 ：将未登录的n - 元语法映射到词汇表中最接近的n - 元语法，接近程度基于某种语义相似度。
- 回退策略 ：如果找不到三元语法，则统计二元语法；如果找不到二元语法，则使用一元语法。

1.3 困惑度（Perplexity）

困惑度用于衡量概率分布对样本的预测能力，是评估语言模型性能的常用指标。其计算公式为：
[P(W)=P(w_1w_2\cdots w_N)^{-\frac{1}{N}}=\sqrt[N]{\fra