N-gram模型

本文介绍了N-Gram模型的基本原理及其在汉语语言模型中的应用,包括如何通过统计方法估算词出现的概率,解决数据稀疏问题的方法,以及如何应用于连续语音识别。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 N-Gram是大词汇连续语音识别中常用的一种语言模型,对中文而言,我们称之为汉语语言模型(CLM, Chinese Language Model)。汉语语言模型利用上下文中相邻词间的搭配信息,在需要把连续无空格的拼音、笔划,或代表字母或笔划的数字,转换成汉字串(即句子)时,可以计算出具有最大概率的句子,从而实现到汉字的自动转换,无需用户手动选择,避开了许多汉字对应一个相同的拼音(或笔划串,或数字串)的重码问题。

  该模型基于这样一种假设,第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

 

     在介绍N-gram模型之前,让我们先来做个香农游戏(Shannon Game)。我们给定一个词,然后猜测下一个词是什么。当我说“艳照门”这个词时,你想到下一个词是什么呢?我想大家很有可能会想到“陈冠希”,基本上不会有人会想到“陈志杰”吧。N-gram模型的主要思想就是这样的。

   对于一个句子T,我们怎么算它出现的概率呢?假设T是由词序列W1,W2,W3,…Wn组成的,那么P(T)=P(W1W2W3Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1)

 

补充知识:

   

 

 

   但是这种方法存在两个致命的缺陷:一个缺陷是参数空间过大,不可能实用化;另外一个缺陷是数据稀疏严重。

   为了解决这个问题,我们引入了马尔科夫假设:一个词的出现仅仅依赖于它前面出现的有限的一个或者几个词。

   如果一个词的出现仅依赖于它前面出现的一个词,那么我们就称之为bigram。即
   P(T) = P(W1W2W3…Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1)
          ≈P(W1)P(W2|W1)P(W3|W2)…P(Wn|Wn-1)

   如果一个词的出现仅依赖于它前面出现的两个词,那么我们就称之为trigram。

   在实践中用的最多的就是bigram和trigram了,而且效果很不错。高于四元的用的很少,因为训练它需要更庞大的语料,而且数据稀疏严重,时间复杂度高,精度却提高的不多。

   那么我们怎么得到P(Wn|W1W2…Wn-1)呢?一种简单的估计方法就是最大似然估计(Maximum Likelihood Estimate)了。即P(Wn|W1W2…Wn-1) = (C(W1 W2…Wn))/(C(W1 W2…Wn-1))

剩下的工作就是在训练语料库中数数儿了,即统计序列C(W1 W2…Wn) 出现的次数和C(W1 W2…Wn-1)出现的次数。

               下面我们用bigram举个例子。假设语料库总词数为13,748

 

                       

   

   P(I want to eat Chinese food)
=P(I)*P(want|I)*P(to|want)*P(eat|to)*P(Chinese|eat)*P(food|Chinese)
=0.25*1087/3437*786/1215*860/3256*19/938*120/213
=0.000154171                                                                                                                                                                                               

 

    ps:网上很多资料中,表1,词与词频的张表是没有的,所以造成文章表意不清。

     这里还有一个问题要说,那就是数据稀疏问题了,假设词表中有20000个词,如果是bigram那么可能的N-gram就有400000000个,如果是trigram,那么可能的N-gram就有8000000000000个!那么对于其中的很多词对的组合,在语料库中都没有出现,根据最大似然估计得到的概率将会是0,这会造成很大的麻烦,在算句子的概率时一旦其中的某项为0,那么整个句子的概率就会为0,最后的结果是,我们的模型只能算可怜兮兮的几个句子,而大部分的句子算得的概率是0. 因此,我们要进行数据平滑(data Smoothing),数据平滑的目的有两个:一个是使所有的N-gram概率之和为1,使所有的N-gram概率都不为0.有关数据平滑的详细内容后面会再讲到,这里不再赘述。

 

   了解了噪声信道模型和N-gram模型的思想之后,其实我们自己就能实现一个音词转换系统了,它是整句智能输入法的核心,其实我们不难猜到,搜狗拼音和微软拼音的主要思想就是N-gram模型的,不过在里面多加入了一些语言学规则而已。

### N-gram模型概述 N-gram模型是一种基于统计的语言模型,用于预测给定前缀下某个单词出现的概率。该模型的核心思想是假设当前词仅依赖于其前面的 \(n-1\) 个词[^1]。具体来说,对于一个长度为 \(n\) 的序列,N-gram 模型会估计条件概率 \(P(w_n|w_{n-1}, w_{n-2}, ..., w_1)\),即在已知前 \(n-1\) 个词的情况下,下一个词 \(w_n\) 出现的可能性。 #### 基本概念 N-gram 模型的主要特点是通过滑动窗口的方式提取文本中的连续片段,并将其视为独立事件进行建模。常见的 N-gram 类型包括 Uni-gram (单字/词)、Bi-gram (双字/词) 和 Tri-gram (三字/词)[^2]。这些模型广泛应用于自然语言处理任务中,例如机器翻译、语音识别和文本分类等。 #### 实现方式 N-gram 模型可以通过多种技术实现。传统的方法通常涉及构建频率表并利用最大似然估计法计算概率分布。然而,在实际应用中,由于数据稀疏性问题(某些组合可能从未出现在训练集中),平滑技术被引入以提高模型性能。常用的平滑策略有加一平滑(Laplace smoothing)、Kneser-Ney 平滑等[^3]。 随着深度学习的发展,基于神经网络的语言模型逐渐取代了传统的 N-gram 方法。这类新模型不仅考虑上下文中固定数量的先前词汇,还能捕捉到更复杂的模式特征。 ```python from collections import defaultdict, Counter def build_ngrams(text, n=2): words = text.split() ngrams = zip(*[words[i:] for i in range(n)]) return [" ".join(ng) for ng in ngrams] text = "this is an example sentence to demonstrate bigrams" bigrams = build_ngrams(text, n=2) print(bigrams) ``` 上述代码展示了如何简单地生成二元组(Bigram)列表。此函数接受一段字符串输入,并返回由相邻两个单词组成的列表形式表示的大规模短语集合。 #### 应用场景 在自然语言处理领域,N-gram 模型有着广泛的用途。它可以用来评估句子流畅度、纠正拼写错误或者推荐关键词[^4]。此外,当面对大规模未标记的数据集时,这种无需额外指导即可完成的任务显得尤为重要——因为这意味着减少了人为干预的需求同时提高了效率。 尽管如此,值得注意的是,单纯依靠历史信息来进行预测存在局限性;比如无法很好地应对长距离依赖关系等问题。因此,在现代实践中,人们往往倾向于采用更加先进的架构如循环神经网络(RNNs) 或者变压器(Transformers) 来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值