NLP 语言模型

最新推荐文章于 2025-02-15 18:22:14 发布
原创 最新推荐文章于 2025-02-15 18:22:14 发布 · 166 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了概率链式法则在语言模型中的应用，包括不同阶数的Markov假设及其扩展，如Unigram与Bigram等，并探讨了语言模型评估指标Perplexity。此外，还讨论了如何通过Laplace平滑方法解决概率为零的问题。

Chain Rule

p(A,B,C,D) = p(A)*p(B|A)*p(C|AB)*p(D|ABC)

Markov Assumption

Unigram （一阶）

在这里插入图片描述

Bigram (二阶)

在这里插入图片描述
可扩展至N阶

语言模型的评价

  • 理想情况下
    1. 假设有两个语言模型A，B
    2. 选定特定的任务，比如拼写纠错
    3. 把两个模型A，B都应用在此任务中
    4. 比较准确率，判断A，B表现

模型评价：Perplexity

在这里插入图片描述
x:average log likelihood

Laplace Smoothing

为了避免单个概率为0，使整个句子概率为0
原MLE模型（Markov LM）：
在这里插入图片描述

改进后的Add-one Smoothing LM

在这里插入图片描述
V: 词库的大小（去重）

Add-K Smoothing

在这里插入图片描述

自然语言处理 (NLP) 技术发展：从规则到大型语言模型的演进之路
专栏
05-09 905
自然语言处理（NLP）技术经历了从基于规则的系统到大型语言模型（LLM）的显著演进。早期依赖手工规则和统计方法，虽具可解释性但难以应对语言的复杂性。机器学习时代通过特征工程提升了模型性能，但仍受限于特征设计的繁琐。深度学习的引入，特别是词嵌入和循环神经网络（RNN），实现了语义信息的自动学习。Transformer模型的提出，尤其是自注意力机制，彻底改变了NLP，为预训练模型如BERT和GPT系列奠定了基础。当前，LLM如ChatGPT和GPT-4展现了强大的语言理解和生成能力，推动了NLP向通用人工智能迈
大语言模型LLM和自然语言处理NLP的区别是什么？
随机指定的博客
02-11 863
它结合了NLP在提取特定信息方面的精确性与LLMs理解更广泛语境的能力，为公司提供了深刻的诊断和治疗建议。将NLP与LLMs融合是开发先进语言处理系统的一大飞跃，这种合作结合了NLP的精确能力与LLMs的广泛语境知识，能显著提升各行业AI应用的效率和有效性。NLP旨在创造能够生成人类语言的算法，它架起了数字系统与人类沟通之间的桥梁，这项技术为各行业的数据分析和洞察提供了有力支持。提高准确性和语境理解：将NLP的针对性处理优势与LLMs的广泛语境理解能力相结合，可提高执行语言任务的准确性和相关性。
NLP中的语言模型
WQ的博客
03-03 1114
NLP中的语言模型        语言模型是自然语言处理领域非常重要的模型，简单来讲，就是用来计算句子概率的模型。那么句子概率又是怎么算的呢？我们知道词构成句。在自然语言处理中，通常以词作为基本单位，把句子称为由词按照一定的规则组成的词的序列。不妨设一个句子为：                    这样，这个句子便是由n个词组成的词序列。那么这个句子的概率，可以表示如下：    这就是n-gra...
NLP中的语言模型(language model)
热门推荐
技术的点点滴滴
09-11 2万+
什么是语言模型统计语言模型是一个单词序列上的概率分布，对于一个给定长度为m的序列，它可以为整个序列产生一个概率P(w_1,w_2,...,w_m) 。其实就是想办法找到一个概率分布，它可以表示任意一个句子或序列出现的概率。 目前在自然语言处理相关应用非常广泛，如语音识别(speech recognition) , 机器翻译(machine translation)，词性标注，句法分析。
语言模型NLP
06-11
斯坦福自然语言处理课程的语言模型章节，非常实用的讲解ppt
NLP--语言模型
qq_36102055的博客
05-04 791
文章目录引入n-gram性能评价交叉熵困惑度平滑自适应语言模型使用二元语言模型进行分词Neural Language ModelRNN language model 引入 语言模型(language model)在许多NLP任务里都有应用，比如分词，词性标注…等等，所以一个好的语言模型是十分重要的。 首先，先来看一下设么是语言模型。 语言模型有一个输入一个输出，输入是一个句子，输出是这个句子的概率，即 P(sentence)P(sentence)P(sentence) 比如，"我喜欢吃苹果"这句话，对于语言
NLP-语言模型
tcn760的博客
04-14 5329
语言模型 1、语言模型的概念 语言模型(language model)是自然语言处理的重要技术。自然语言处理中最常见的数据就是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为TTT的文本中的词依次为w1,w2,⋯ ,wTw_1,w_2,\cdots ,w_Tw1​,w2​,⋯,wT​，那么在离散的时间序列中，wt(1≤t≤T)w_t(1\le t \le T)wt​(1≤t≤T)可以看作在时间步ttt的输出或者标签。给定一个长度为TTT的序列w1,w2,⋯ ,wTw_1,w_2,\
自然语言处理(NLP)之三：语言模型
xunyishuai5020的博客
02-05 3423
语言模型是预测句子符合语法规范（语言惯用的单词搭配规范）的概率的计算方法，对给定语句S=W1,W2,W3,…,WnS = W_1, W_2, W_3, …, W_nS=W1​,W2​,W3​,…,Wn​，其表达式为： P(S)=P(W1,W2,W3,…,Wn) P(S) = P(W_1, W_2, W_3, …, W_n) P(S)=P(W1​,W2​,W3​,…,Wn​) P(W1,W2,W3,…,Wn)P(W_1, W_2, W_3, …, W_n)P(W1​,W2​,W3​,…,Wn​)，W1,W2
面向自然语言处理任务的预训练模型综述.pdf
04-21
面向自然语言处理任务的预训练模型综述 本文对面向自然语言处理任务的预训练模型进行了综述，总结了当前预训练模型的研究现状，并对代表性的模型特点进行了梳理和归纳。预训练模型的出现解决了深度神经网络中大规模...
NLP：自然语言处理的预训练模型Pre-trained Models for NLP- A Survey
04-21
自然语言处理（NLP）领域的预训练模型（Pre-trained Models，PTMs）是近年来深度学习技术发展的重要成果，引领了NLP研究的新纪元。预训练模型的核心在于通过大规模无标注文本数据进行预训练，学习到语言的通用表示，...
NLP语言模型概览
noobiee的博客
08-10 4551
Pre-trained Language Model（PLM）模型BERT 具有两种输出，一个是pooler output，对应的[CLS]的输出，以及sequence output，对应的是序列中的所有字的最后一层hidden输出。所以BERT主要可以处理两种，一种任务是分类/回归任务（使用的是pooler output），一种是序列任务（sequence output）
nlp基础之语言模型
lankuohsing的博客
02-20 1575
nlp入门基础之语言模型 文章目录nlp入门基础之语言模型1. 简介2. n元语法 1. 简介 一段自然语言文本可以看做是一个离散时间序列s=ω1,ω2,⋯ ,ωTs=\omega_1,\omega_2,\cdots,\omega_Ts=ω1​,ω2​,⋯,ωT​，而一个语言模型的作用是构建这个时间序列的概率分布P(s)P(s)P(s)。概率计算公式可以表示为： KaTeX parse erro...
NLP基础：语言模型
weikai_w的博客
01-07 2398
什么是语言模型 语言模型旨在为语句的联合概率函数建模，是用来计算一个句子概率的模型，对有意义的句子赋予大概率，对没有意义的句子赋予小概率，也就是用来判断一句话是否是人话的概念。这样的模型可以用于NLP中的很多任务，如机器翻译、语音识别、信息检索、词性标注以及手写识别等。语言模型考虑两个方面的子任务（以“How long is a football game?”为例）： 句子中的词序：“How l...
NLP基础——语言模型（LM）
u012744245的博客
04-17 3908
文章目录NLP基础：语言模型（LM）1. 模型评估（概率估计）2. 平滑方法3. LM在拼写纠正（Spell Correction）中的应用 NLP基础：语言模型（LM） 语言模型（LM，Language Model）就是用来判断某个句子是否语义通顺。首先对句子进行分词，句子的概率可以表示为各个词的联合概率：P(s)=P(w1,w2,...,wn)P(s)=P(w_1,w_2,...,w_n)P(s)=P(w1​,w2​,...,wn​)。 根据Chain rule: P(A,B,C,D)=P(A)P(B|
NLP进化史系列之语言模型
Zack的博客
06-27 6726
前言： 从20世纪70年代的统计语言模型，到2003年的神经网络语言模型，再到2018年刷新各种NLP任务记录的BERT，再到今年6月份的XLNet再次刷新各种记录，带你一起领略其中奥妙。 目录 1、N-gram语言模型 2、神经网络语言模型(NNLM) 3、One-hot 4、Word2vec 5、ELMo 6、Open AI GPT 7、BERT 8、XLNet 9、Attention机制 ...
NLP(06)_语言模型与应用
weixin_40056628的博客
04-23 700
自然语言（Natural Language）其实就是人类语言，自然语言处理（NLP）就是对人类语言的处理，当然主要是利用计算机。自然语言处理是关于计算机科学和语言学的交叉学科，常见的研究任务包括： 分词（Word Segmentation或Word Breaker，WB） 信息抽取（Information Extraction，IE）：命名实体识别和关系抽取（Named Entity Recog...
【NLP 22、语言模型 language model】
最新发布
m0_73983707的博客
02-15 1670
语言是灵活的，也是有规律的了解一门语言的人可以判断一句话是否“合理”通俗来讲，语言模型用来评价一句话(句子可以看作是字的组合)是否“合理”或“是人话”数学上讲，P(今天天气不错) > P(今错不天天气) 、P(I have a dream) > P(I is are boy)语言模型用于计算文本的成句概率，模型需要做到对合理的句子给出高分，对不合理的句子给出低分N-gram 语言模型：简单、易于理解和实现，适合处理小规模数据和简单的语言任务，但受限于数据稀疏性和短距离依赖。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值