本文详细介绍了自然语言处理中的语言模型，包括基本概念、n元文法、参数估计、数据平滑以及性能评价。重点讨论了n-gram的优缺点，并探讨了基于缓存和混合方法的改进语言模型，旨在提高模型的适应性和预测准确性。
文章目录
语言模型基本概念
用数学的方法描述语言规律，即用句子 S = w 1 , w 2 … w n S = w_1,w_2\dots w_n S=w1,w2…wn的概率 p ( S ) p(S) p(S)刻画句子的合理性.
对语句合理性判断：
- 规则法：判断是否合乎语法、语义(定性分析)
- 概率统计法：通过可能性大小来判断(定量计算)
模型思想：
p ( S ) = p ( w 1 ) p ( w 2 ∣ w 1 ) … p ( w n ∣ w 1 … w n − 1 ) = ∑ i = 1 n p ( w i ∣ w 1 ⋯ w − 1 ) p(S) = p(w_1)p(w_2|w_1)\dots p(w_n|w_1\dots w_{n-1}) = \sum_{i=1}^np(w_i|w_1\cdots w_{-_1}) p(S)=p(w1)p(w2∣w1)…p(wn∣w1…wn−1)=i=1∑np(wi∣w1⋯w
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
