NLP笔记之Markov assumption 和 language model

最新推荐文章于 2025-02-16 22:51:45 发布
最新推荐文章于 2025-02-16 22:51:45 发布
阅读量1.2k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 课程笔记 文章标签： 笔记 NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dingyplucky/article/details/98720935
探讨了贝叶斯模型在处理长句子时的局限性，并介绍了马尔科夫假设如何解决这一问题。通过一阶和二阶马尔科夫模型（即bigram和trigram），可以更有效地计算单词序列的概率。此外，还讨论了一元语法模型的不足以及N元模型在处理未登录词时的挑战。最后，提到了语言模型评估方法——困惑度，展示了不同模型的困惑度对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

贝叶斯模型无法表示长句子，多个单词的条件下，某个词出现的概率极小，再经过链式法则连乘之后，概率更小。

针对这个问题，有马尔科夫假设：

马尔科夫假设：某个单词出现的概率只与它前面的一个或几个单词有关。

一阶马尔科夫模型对应二元语法模型bigram

二阶马尔科夫模型对应三元语法模型trigram

 

一元语法模型无法表示语句中单词之间的关系。一元模型下，正常语句的概率和改句子打乱后的概率相同，显然不合理。常用二元语法模型，最高用到五元语法模型。

 

N元模型的问题，无法处理未登录词。

 

语言模型评估

理想情况下：

  1. 假设有两个语言模型A，B
  2. 选定一个特定的任务，比如拼写纠错
  3. 把两个模型应用到此任务中
  4. 最后比较准确率。

此方法太麻烦，需要搭建一套流程。

其他评估语言模型方法：困惑度 Perplexity

perplexity=2^{-\left ( x \right )}，其中x：average log likelihood

困惑度越小，句子概率越大，句子确定度越高，越准确。

几种语法模型困惑度
 unigrambigramtrigram
perplexity962170109

 

MarkovModels马尔科夫模型读书笔记
辛明辉的专栏
01-24 2473
前言本来是想了解HMM模型（隐马尔科夫模型），但是HMM是建立在MarkovModels模型的基础上，这里就简单的介绍一下马尔科夫模型，其实类似翻译啦。参考UMDHMM概念介绍 可观察状态（Observable states）：1,2…,N （例如天气的状态，sunny,rainy,cloudy，3中状态） 可观察状态序列（Observed sequence） （PS：一般都是随时间而改变，例如
The Causal Markov Assumption
chindmin的专栏
01-14 1046
我们可以构造一个Causal DAG来构建一个Bayesian network. 一般地，给定一些定义“causation”和“direct causal influence”, 如果我们创建了一个causal DAG G = (V, E)，假设变量V的概率分布满足Markov condition 在G中，我们称这为：Causal Markov Assumption。
马尔科夫假设
xixixixixixixi21的博客
07-06 683
马尔科夫假设（Markov Assumption），也称为无记忆假设，它假设在给定当前状态的情况下，未来的状态只依赖于当前状态，而与过去的状态序列无关。
NLP深入学习——Chain Rule and Markov Assumption
weixin_42894555的博客
06-21 752
文章目录返回主目录Chain RuleMarkov Assumption1st order Markov Assumption2nd order Markov Assumption3rd order Markov Assumption 返回主目录 这是一个系列的文章，点击返回综合目录页 Chain Rule P(A,B)=P(A∣B)⋅P(B)=P(B∣A)⋅P(A)P(A,B)={P(A|B)·P(B)}={P(B|A)·P(A)}P(A,B)=P(A∣B)⋅P(B)=P(B∣A)⋅P(A) 同理.
理解Markov假设
ybdesire的专栏
02-08 1万+
引言 Markov假设是基于模板表示的时序模型的基础。也是理解HMM的前提。 简单说来，Markov假设使得概率计算得到简化。下面讲解如何直观的理解Markov假设，以及它详细推导过程。 时序模型 当对动态环境进行建模时，我们感兴趣的是，当问题的状态随时间变化时，对其关于状态进行推理。 这种环境可以根据系统状态进行建模。用X(t)X(t)X^{(t)}表示系统变量（也叫模板变量）。可...
【清华大学】《自然语言处理》（刘知远）课程笔记 ——NLP Basics
四问四不知的博客
06-09 2176
笔记
自然语言处理和文本数据建模中的马尔可夫链
u013832582的博客
12-12 1037
或许一些朋友还对于chatgpt还很陌生，但是它的出现确确实实的改变了，我们对于搜索引擎的使用，现在无论搜索栏搜什么都有ai整理回答。它不仅仅影响了某个特定领域，而是横跨了机器翻译、图像处理、问答系统、推荐算法以及搜索引擎等多个领域。那么我们不得不溯本求源，回顾其发展基础——马尔可夫链1906年，杰出的俄国数学家安德烈·马尔可夫提出了这一理论，（他本人也是在研究语言的过程中提出了马尔可夫假设）它描述了状态空间中通过随机转移实现状态变化的过程。图1 马尔可夫。
国立高等经济大学NLP学习笔记(2)：语言建模(Language modeling)
kkkkkiko的博客
08-31 1233
这周讲核心的NLP方法。 2.1 语言建模：全是计数问题(Language modeling: it's all about counting!) 2.1.1 N-gram语言模型(N-gram language models) 我们从语言模型开始讲解。 什么是语言模型呢？语言模型就是计算序列单词(sequence words)或句子出现概率的模型，我们称之为language models...
Speech and Language Processing 阅读笔记 NLP
followUrheart6的博客
06-13 1110
文章目录2.1 Regular Expressions3 N-gram4 Naive Bayes Classification5 Logistic Regression6 Vector Semantics and Embeddings7 NNLM8 Part-of-Speech Tagging总结 2--89 Seq with RNNDeep Networks: Stacked and Bidirectional RNNsManaging Context in RNNs: LSTMs and GRUs ht
nlp学习笔记
Qiushuiyijiang的博客
11-08 438
nlp难点 一个意思具有多种表达方式；而是一词多义(Ambiguity）; 如何解决一词多义现象：在没有上下文（context）的情况下，可以主观判断一下； 搭建一个机器翻译系统：从语料库中匹配目标单词，其缺点在于：语法不对，速度慢可以通过AI的方法（模型）解决。如何保证语法的正确性：中文首先要分词，找到对应词，对词进行排列组合，将组合应用在模型（Language Model）上，得到一个概率，选最好的。其中的计算量特别大，采用算法解决。 Decoding algorithm and viterb algo
隐马尔可夫模型
tianqio的专栏
06-17 4628
前一篇文章没有系统地介绍这个模型，本篇文章将详细介绍1. 定义：The Hidden Markov Model is a finite set of states, each of which isassociated with a (generally multidimensional) probability distribution[]. Transitions a
贝叶斯滤波（三）贝叶斯滤波算法推导
wongkingkeng的博客
06-16 3898
一、马尔可夫假设 马尔可夫假设简单来说，就是当前状态仅取决于先前的状态和当前输入。 比如某个人在停车场倒车停进车位里，那么这辆车下一秒的速度，仅仅取决于车当前的速度，和下一秒车的油门，跟这辆车昨天开去了哪座城市，去了哪个村庄是没有关系的。也就是说我现在的速度仅仅取决于我上一秒的速度和我现在踩下了多少油门有关系。 根据马尔科夫假设，我们才能推导递归贝叶斯的更新公式。 二、贝叶斯滤波算法的数学推导 1. 全概率公式： ...
AI 语言模型发展史：统计方法、RNN 与 Transformer 的技术演进
最新发布
运维小子
02-16 1087
自然语言处理（NLP）是 AI 领域的重要分支，而语言模型（Language Model, LM）是 NLP 的核心技术。本文从技术角度详细分析三种方法的核心原理、优缺点，并探讨 Transformer 如何在 AI 大模型（如 GPT-4）中发挥关键作用。目前，Transformer 是大模型（如 GPT-4、BERT）的核心技术，未来 NLP 发展仍围绕自注意力机制展开。记忆过去的信息，解决了 N-gram 只能处理短上下文的问题。的演进，每一步都在提升模型的表达能力和计算效率。RNN 通过隐藏状态。
图dfs和bfs时的时间复杂度
热门推荐
wusecaiyun的专栏
11-01 3万+
下图摘自严蔚敏的教材： 上面说的是DFS。 下面说的是BFS。
Markov chain的基本知识
编程就是在计算机中反应世界
11-10 1097
Markov chain的基本知识
5分钟学会马尔科夫模型
大数据技术派
01-19 2万+
马尔可夫模型（Markov Model）是一种统计模型，广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。 有时候，数学就是这么强大，数学家就是这么富于创造力。很多人觉得马尔科夫不好理解，今天先对马尔科夫模型做一个5分钟快速入门，希望对新手有帮助！ 一、马尔科夫模型 包括我自己，很多人都不...
因果4-因果模型
euzmin的博客
07-23 2733
上一章我们从统计学角度学习了贝叶斯网络中点与点的关系，并没有真正涉及因果的重要内容，因为基于的都是条件概率，没有牵扯到干预，而干预是因果很重要的操作，这一章我们从干预开始，进一步学习如何识别因果图中的因果量。 首先让我们回顾并正式定义第一章中提到的干预–do操作。 The do-operator 图1. condition和intervention 如图1所示，conditioning和intervening是不同的操作。conditioning on T=t（在T=t条件下）表示我们只关注数据中T=t
Advanced Topics in Statistical Machine Learning 笔记02：贝叶斯网络（Bayesian Network）
MYJace的博客
10-03 2611
Advanced Topics in Statistical Machine Learning 笔记02：贝叶斯网络
Markov Assumption 解决Language Model 的Sparsity问题
01-02 270
即相当于商品推荐一个月兴趣转移假设即马尔科夫假设: 1st order markov assuption 2st order markov assuption
哈工大ELMo自然语言处理模型「zhs.model」免费下载
哈工大（哈尔滨工业大学）是中国顶尖的理工类院校之一，其研究团队在自然语言处理（NLP）领域有着深厚的研究和开发实力。ELMo（Embeddings from Language Models）是一种深度上下文化的词表示模型，由Allen NLP研究...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值