Good Turing Smoothing

最新推荐文章于 2021-11-17 22:48:36 发布
最新推荐文章于 2021-11-17 22:48:36 发布
阅读量2.3k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yinxusen/article/details/6803210





yinxusen
关注
1.3 n-gram平滑算法：Good-Turning、拉普拉斯平滑
炫云云
06-12 1756
文章目录为什么需要平滑操作拉普拉斯平滑Add-one smoothingadd-k Smoothinggood-turning smooth问题Good-Turning示例python参考 为什么需要平滑操作 假设有一个预料集 我 喜欢 喝 奶茶 我 喜欢 吃 巧克力 我 喜欢 健身 天啦撸，一起同过窗 要出 第三季 了 这个时候要计算“我喜欢喝咖啡”的概率 假设我们用bi-gram模型来计算，也就是说 　　P(我喜欢喝咖啡)=P(我)P(喜欢∣我)P(喝∣喜欢)P(咖啡∣喝)=(3/16)∗(1)∗(1
good-turing平滑方法评价_数学建模常用知识与方法简介（3）
weixin_39959236的博客
12-05 582
一、时间预测法常用的定量预测方法有两种，一种是回归分析法，另一种常用方法就是时间序列分析法。所谓时间序列就是一组按照一定的时间间隔排列的一组数据。这一组数据可以表示各种各样的含义的数值，如对某种产品的需求量、产量，销售额，等。其时间间隔可以是任意的时间单位，如小时、日、周、月等。通常，对于这些量的预测，由于很难确定它与其他因变量的关系，或收集因变量的数据非常困难，这时我们就不能采用回归分析方法进行...
simple-good-turing:使用 NumPy 在 Python 中实现简单的 Good Turing 平滑算法
06-18
简单好图灵 使用 NumPy 在 Python 中实现简单的 Good Turing 平滑算法
N元语法模型的数据稀疏问题解决方法之一：Good-Turing平滑
时空霹雳的专栏
07-28 7627
在统计语言模型章节中，我们谈到了N元语法模型不可避免的一个问题，就是数据稀疏，其原因是大规模语料统计与有限语料的矛盾。根据齐普夫（Zipf）法则，我们能够推测知零概率问题不可避免。数据稀疏问题的解决办法就是进行平滑处理。平滑处理的算法有很多，本文将介绍众多算法中的佼佼者：古德-图灵（Good-Turing）平滑算法。         古德-图灵（Good-Turing）估计法是很多平滑技术的
srilm语言模型中的平滑算法——Good-Turing平滑算法
vincent1y的博客
08-10 8671
最近使用使用python自己写的语言模型和srilm得到的语言模型做对比，srilm里还是有很多trick的，尤其是平滑算法，集成了很多数据平滑算法，研究的时候，记录一下。 在srilm中有回退和差值两类平滑算法，简单来说，回退就是将出现过的ngram的概率打个折扣，将那部分折扣下来的概率均摊为未出现的ngram作为他们的概率，而插值呢，一样是对出现过的ngram打折扣，但是折扣下来的概率值均摊...
Good-Turing、Absolute、kneser-ney smooth
qq_39492317的博客
11-05 1188
###Good-Turing smoothing Good-Turing基本思想是：用观察计数较高的N元语法数重新估计概率量的大小，并把它指派给那些具有零计数或者较低计数的N元语法。 公式: c∗=(c+1)Nc+1Ncc^* = \frac{(c+1)N_{c+1}}{N_c}c∗=Nc​(c+1)Nc+1​​ 其中c为某个N-gram出现的频数,NcN_cNc​为出现次数为c的N-Gram的词...
古德图灵估计（Good-Turing Estimation)
weixin_42272768的博客
05-03 3739
古德-图灵估计最早发表于1953年。其核心思想是用r取代原始的r。举例说明如下： 假设有单词组“the the the big big dog”，其中the出现3次，big出现2次，dog出现1次。正常的情况下计算单词出现的频次只需要用单词出现的次数/总单词数。比如the的频次=3/6=0.5。 但是如果考虑到未出现的单词，比如eat，算法上需要如何处理？古德-图灵算法将已经出现的单词的频次进行调整，将出现次数r定义为（r+1)*(出现r+1次单词的个数）/ （出现r次单词的个数）。通过计算可以得到新的频次
任务描述 本关任务：实现二元语言模型的数据平滑，并利用平滑后的数据计算句子概率。 相关知识 为了完成本关任务，你需要掌握：1.模型平滑化。2.good-turning平滑。 模型平滑 在使用语言模型直接计算某个句子出现的概率时，可能会由于某个单词或单词对出现的概率为0而导致整个句子出现的概率为0。 例如下面这个场景： 例子 在上面的场景中，由于部分单词对出现的概率为0，导致最终两句话出现的概率均为0。但实际上，s1=“今天没有训练营”比s2=“今天训练营没有”更符合语法习惯，我们也更希望计算出来的P(s1)大于P(s2)。 一般来说，语言模型的平滑处理可分为以下三类： Discounting（折扣）：通过给概率不为0的项打折扣，来提高概率为0的项的概率； Interpolation（插值）：在使用N-gram模型计算某一项的概率时，同时结合低阶的模型所计算出的概率； Back‐off：approximate counts of unobserved N‐gram based on the proportion of back‐off events (e.g., N‐1 gram)。 这里我们主要介绍与使用Discounting中的good-turning平滑方法。 good-turning平滑 Good-Turing技术是在1953年由古德（I.J.Good）引用图灵（Turing）的方法而提出来的，其基本思想是：用观察计数较高的N元语法数重新估计概率量的大小，并把它指派给那些具有零计数或者较低计数的N元语法。涉及的符号含义为: c：某个N元语法出现的频数。 Nc：出现次数为c的 N-gram 词组的个数，是频数的频数 , c*：Good-Turing平滑计数 , 设N为测试元组集合中元组的数目，则有如下公式： , 通过新频数可计算出经过good-turing平滑后的元组概率，公式如下： , 编程要求 根据提示，在右侧编辑器补充代码，编写平滑函数，计算句子的概率 测试说明 平台会对你编写的代码进行测试： 语料库： 研究生物很有意思。他大学时代是研究生物的。生物专业是他的首选目标。他是研究生。 测试输入：他是研究物理的 预期输出：5.6888888888888895e-05import jieba #语料句子 sentence_ori="研究生物很有意思。他大学时代是研究生物的。生物专业是他的首选目标。他是研究生。" #测试句子 sentence_test=input() #任务：编写平滑函数完成数据平滑，利用平滑数据完成对2-gram模型的建立，计算测试句子概率并输出结果 # ********** Begin *********# # ********** End **********#
最新发布
05-20
smoothed_bigram_probs = good_turing_smoothing(bigram_counter) sentence_prob = calculate_sentence_probability(sentence_test, smoothed_bigram_probs, unigram_counter) print(sentence_prob) ``` ### 解释 1...
【简单理解】自然语言处理-平滑方法(Smoothing)
weixin_44151089的博客
02-18 5542
【简单理解】自然语言处理-平滑方法(Smoothing) 简单介绍平滑策略 平滑策略的引入，主要使为了解决语言模型计算过程中出现的零概率问题。零概率问题又会对语言模型中N-gram模型的Perplexity评估带来困难。 零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，那么该量概率为0，进而会导致整个实例的概率结果是0。 举例：在文本分类的问题中，在计...
中科大谭立湘老师GPU课程最后大作业完整报告（附带完整程序）
12-17
利用CUDA优化实现图像的锐利化、模糊化。附带整个程序代码，GPU并行计算课程最后的大作业。可以用来参考和借鉴。（代码正确无误，直接复制可跑）
Good-turning估计
ER
04-03 3546
吴军数学之美又看了一遍，写的有深有浅，这次又有了不同的感觉。 统计预言模型的数据稀疏问题解决方案–古德图灵估计
good-turing平滑方法评价_分类评价指标
weixin_42498006的博客
11-28 1112
此系列文章为笔者学习工作中的阶段性总结，难免有纰漏，如有不正之处，欢迎指正，大家共同成长。分类(Classification)是机器学习中需要解决的主要问题之一，分类任务有诸多评价指标，在诸多的评估指标中， 大部分指标只能片面地反映模型的一部分性能。 如果不能合理地运用评估指标， 不仅不能发现模型本身的问题， 而且会得出错误的结论。下面我们从基本概念入手，探讨如何根据实际场景选择合适的评价指标。便...
NLP-Good Turning平滑
Swayzzu的博客
11-17 2071
如何计算没有出现过的词，下一次出现的概率？
Good-Turning Smothing 学习
theowl13的博客
02-21 455
使用场景 语言模型平滑化等 公式 没有出现过的单词出现的概率 Pmle=0P_{mle}=0Pmle​=0 （mle的方式） Pgt=N1NP_{gt}=\frac{N_1}{N}Pgt​=NN1​​ （good-turning的方式） 出现过的单词出现的概率 Pmle=cNP_{mle}=\frac{c}{N}Pmle​=Nc​（mle的方式） Pgt=(c+1)Nc+1Nc×NP_{gt}=\frac{(c+1)N_{c+1}}{N_c\times N}Pgt​=Nc​×N(c+1)Nc+1​
语言模型srilm（三） 折扣平滑算法
xmdxcsj的专栏
12-21 9051
一、概况在训练语言模型的时候有几个常用词：折扣（discounting）、平滑（smoothing）、插值（interpolate），下面用一个例子简单介绍一下。 我们的训练语料里面有“a、b、c、d”五个词，其中以a、b开头的3gram有以下数据： a b c 5次 a b d 10次 那么当我们需要计算p(c|ab)的概率的时候，可以使用最大似然估计 p(c|ab)=c(abc)c(a
good-turing平滑方法评价_音质标准与音质评价的方法
weixin_29948389的博客
12-12 351
所谓声音的质量，是指经传输、处理后音频信号的保真度。目前，业界公认的声音质量标准分为4级，即数字激光唱盘CD-DA质量，其信号带宽为10Hz~20kHz；调频广播FM质量，其信号带宽为20Hz~15kHz；调幅广播AM质量，其信号带宽为50Hz~7kHz；电话的话音质量，其信号带宽为200Hz~3400Hz。可见，数字激光唱盘的声音质量最高，电话的话音质量最低。除了频率范围外，人们往往还用其它方法...
Good-Turning Smoothing介绍及推理
简单随风的博客
02-23 4752
在介绍Good-Turning Smoothing之前，我们可以先看一个有趣的例子： 假设你在钓鱼，已经抓到了18只鱼： 10条鲤鱼，3条黑鱼，2条刀鱼，1条鲨鱼，1条草鱼，1条鳗鱼… Q1：下一个钓到的鱼是鲨鱼的概率是多少？ Q2：下一条鱼是新鱼种（之前没有出现过）的概率是多少？ Q3：既然如此，重新想一下，下一条抓到鱼为鲨鱼的概率是多少？ 我们在看到Q1时，可以很简单的算出Q1结果为 1/18...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值