NLP笔记之 语言模型的平滑技术

最新推荐文章于 2024-05-26 11:54:05 发布
最新推荐文章于 2024-05-26 11:54:05 发布
阅读量615 收藏
点赞数
分类专栏： 课程笔记 文章标签： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dingyplucky/article/details/98729449
版权
本文探讨了NLP中语言模型遇到未登录词的问题，介绍了Add-one Smoothing、Add-K Smoothing、Interpolation和Good-Turing平滑等技术，旨在优化概率计算，避免概率为0的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于markov的语言模型，在遇到未登录词时，会将语法合理的句子概率计算为0.这是不合理的。

Add-one Smoothing （laplace smoothing）

P_{MLE}\left ( w_{i}|w_{i-1} \right )=\frac{c\left (w_{i-1}\cdot w_{i} \right )}{c\left (w_{i} \right )}

最低0.47元/天 解锁文章
NLP模型笔记2022-01:浅谈语言模型
源代码杀手的博客
05-05 355
目录1、语言模型与条件概率1-1、条件概率1-2、语言模型1-3、Markov假设与HMM模型1-4、平滑处理[解决句子0概率稀疏问题]2、HMM源码实现参考文献 1、语言模型与条件概率 1-1、条件概率 条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么， 条件概率的链式法则，也称为条件概率的乘法法则： P(a,b,c)=P(a|b,c) P(b,c) = P(a|b,c) P(b|c) P(c) 条件概率的
NLP学习笔记「第二章」2.2.3Trigram Language Models and Beyond（三元语言模型及其衍生）
weixin_43890373的博客
06-27 461
接上一张，图片传的我要死
nlp5-n-gram/语言模型(数据平滑方法
weixin_40485502的博客
01-21 850
文章目录1.句子的先验概率1.1 n-gram2. 参数估计3. 数据平滑3.1 数据平滑度方法3.1.1加1法3.1.2减 1.句子的先验概率 这个联合概率太小了 窗口越大，共现的可能性越小 参数多 解决：等价类 不看所有的历史信息 只看部分历史信息，但看所有的历史等价 如何划分等价类 将两个历史映射到同一个等价类，当且仅当这两个历史中的最近 n-1 个基元相同，即： 1....
语言模型之平滑技术
abc781cba的博客
05-07 1737
注：本文主要介绍几种方法的个人理解，完全是白话，大神就不要来了。平滑技术核心思想就是“劫富济贫”，主要是解决数据稀疏（sparsity）问题，主要技术有三：discount，backoff，插值。一 discount1 add one (add x)假设此表包含n个词，就在分子和分母分别加上1和n2 good turning假设N元语法出现r次，那就它就按照比例缩小次数，溢出的概率根据开发集中未出...
语言模型中常见的平滑处理技术
zhang17173的博客
03-13 2906
语言模型中常见的平滑处理技术 为什么需要平滑处理技术？ 在使用语言模型直接计算某个句子出现的概率时，可能会由于某个单词或单词对出现的概率为0而导致整个句子出现的概率为0。 例如下面这个场景： 在上面的场景中，由于部分单词对出现的概率为0，导致最终两句话出现的概率均为0。但实际上，s1=“今天没有训练营”比s2=“今天训练营没有”更符合语法习惯，我们也更希望计算出来的P(s1)大于P(s2)。 为...
关于语言模型中的平滑
rexyang97的博客
11-01 566
在语言模型计算概率的时候，我们会碰到概率为0的情况，即计算的单词在语言模型中并没有出现过。这个时候会使用平滑的方法计算概率，一般分为以下几种： Add-One Smoothing Add-K Smoothing 其中Add-One Smoothing可以看作Add-K Smoothing中K为1的变种。概率计算即为 (C+k)/(N+kV) 其中C为需要计算的情形出现的次数，N为语料库中所有情形的次数，V为语料库中所有情形的种类。 Interpolation Interpolation 即为.
NLP之平滑策略
weixin_30680385的博客
11-08 393
平滑 需要平滑原因有二：一，导致0概率，无法计算困惑度；二，对于一些未见过的句子，概率为0。 training set: denied the reports Test set: denied the offer P(offer| denied the) = 0 加1(拉普拉斯?) 平滑 Maximun Likelihood E stimates: P(Wi|Wi-1) = C(Wi...
《自然语言处理-基于预训练模型的方法》笔记
github_34349558的博客
08-13 5659
《自然语言处理-基于预训练模型的方法》笔记 文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问题II. 结构预测问题III. 序列到序列问题(四) 评价指标I. 标准答案明确的情况II. 标准答案不明确的
预训练语言模型笔记
最新发布
2401_83617942的博客
05-26 1107
在图片分类任务中,常使用(Convolutional Neural Network,CNN)网络，对于由多个层级结构组成的CNN来说,不同层学到的图像特征是不一样的,越浅的层学到的特征越通用,越深的层学到的特征和其体任务的关联性越强。语言模型：给定一句由n个词组成的句子W=w1,W2,......,wn,计算这个子的概率P(w1,W2,...,wn),或者根据前文计算下一个词的概率P(wn/w1,W1,W2..,wn-1)的模型。从机器学习的角度看,语言模型是对语句的概率分布的建模。
NLP语言模型的平滑问题
qq_36732844的博客
07-09 470
https://blog.youkuaiyun.com/miner_zhu/article/details/82729192
3种模型朴素贝叶斯、拉普拉斯平滑完成文本分类
06-14
朴素贝叶斯完成文本分类，包含现在常用的文档、单词、混合 3种模型。引入了拉普拉斯平滑技术，通俗易懂。
中文语言模型的词典优化
12-30
该资源包含两个文件，其中一个是中文语言模型词典优化的英文论文，另一个是我的翻译。
跨语言语音合成核心问题提出: 建模英文Mel间的smooth
ruclion的专栏
12-08 231
0. 说明 语音模型, 英文语音模型可以建立smooth 可能1: 在训练时故意输入不连贯的mel, 输出连贯的mel. 还真的跟语言模型的训练手段类似
NLP（三）——语言模型
Exception_3212536934的博客
05-10 3360
目录 Language Model Unigram Bigram N-gram 评估语言模型 Perplexity Smoothing Add-one Smoothing Add-KSmoothing Interpolation Good-Turning Smoothing Language Model 语言模型用来判断一句话是否从语法上通顺。 Unigram Unigram模型假定各个部分相互独立，此种模型下概率计算会相对简单，但是存在问题：下图中的第二个概率和...
学习：N-Gram模型
czp_374的博客
02-02 1564
一、什么是n-gram模型 N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。 每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。 该模型基于这样一种假设，第N个词的出现...
n-gram语言模型——句子概率分布计算与平滑
十一月廿七风雨大作
11-11 6989
语言模型（Language Model, LM）在自然语言处理（NLP）领域扮演着核心角色，特别是在统计模型驱动的汉语自动分词和句法分析等领域。目前，广泛采用的是N-gram语法模型，这种模型以其构建的简便性和直观性而著称，但同时也因数据稀疏性问题而不得不使用平滑（Smoothing）技术。
用Python实现概率语言模型（2-元语法模型）
peanutwang的博客
03-21 1263
需要注意的是，这里的两两组合区分先后，例如，“她很”出现了3次，而“很她”出现了0次。把字典中的字按照row，col排成二维的，纵横交叉处即为该两两组合出现的次数。首先构造一个语料库，由6句话组成，每句话3个字。遍历语料库，把每个字出现的次数存储在字典中。至此，一元概率已完成。下面计算二元的次数。每个字的出现的次数除以语料库总字数。再构造一个字典P1存储一元概率。构造一个字典，存储一元的字数。
自然语言处理 学习笔记三（二元语法与中文分词）
liuhuabing760596103的专栏
09-28 1703
一 、语言模型 1.1 语言模型 语言模型是对语言现象的数学抽象，用来计算句子的出现概率的模型。 1.2 数据稀疏 计算句子出现的概率是通过枚举形成的语料库，但是靠枚举无法估计语料库之外的句子的概率，而实际遇到的句子大部分在语料库之外，导致概率为0的情况。 1.3 语言模型面临的问题 语言模型随着句子长度的增加，必然会遇到数据稀疏、计算代价大的问题。 ...
【语音识别】语言模型LM
nianmaoren2400的博客
08-25 1567
在经过孤立词识别之后，需要进入实际应用，也就是实际的语境中的识别，现实生活的语境往往十分复杂，比如方言，断句，省略词等，而且会面对无法预测的未知词语。这章的语言模型则是对这些问题一一分解分析。
RNN与语言模型解析：cs224n课程笔记
"cs224n学习笔记涵盖了Recurrent Neural Networks (RNN)和...cs224n的学习笔记提供了关于RNN和语言模型的宝贵洞察，不仅涵盖了基础理论，还涉及了实际应用中的挑战和解决方案，对于深入理解自然语言处理有极大的帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值