数据平滑 自然语言处理

问题提出：为了解决训练语料中的零概率问题。平滑处理的基本思想是一种“劫富济贫”，即提高低（零）概率，降低高概率，尽量使得概率分布趋于均匀。

加一平滑方法

假设每个二元语法出现的次数比实际出现的次数多一次，不妨将该处理方法称为加1法。

$p(w_i|w_{I-1})=\frac{1+c(w_{i-1},w_i)}{\sum\limits_{w_i}[1+c(w_{i-1},w_i)]}=\frac{1+c(w_{i-1},w_i)}{|V|+\sum\limits_{w_i}[1+c(w_{i-1},w_i)]}$

加法平滑方法

$p(w_i|w_{I-1})=\frac{\delta+c(w_{i-1},w_i)}{\delta|V|+\sum\limits_{w_i}[1+c(w_{i-1},w_i)]}$

其中 $0\leq\delta\leq1$

Good-Turing估计法

$n_r 是训练语料中恰好出现r次的n元语法的数目，假设它出现了r^{*}次。$

$r^{*}=(r+1)\frac{n_{r+1}}{n_r}$

对于统计数为r的n元语法，其概率为pr=r∗∑r=1∞n