一个基于字的Bigram语言模型

最新推荐文章于 2024-05-19 16:48:49 发布
最新推荐文章于 2024-05-19 16:48:49 发布
阅读量493 收藏 9
点赞数 5
分类专栏： 自然语言处理 文章标签： 语言模型 人工智能 自然语言处理 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_73562709/article/details/137269605
版权
本文介绍了如何使用自然语言处理方法实现bigram模型，包括数据预处理（如提取中文字符、构建字典）、频次矩阵计算、加一平滑处理以及生成推荐词的过程。代码示例详细展示了整个流程和技术细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 设计思路

  • 代码整体实现步骤

  • 运行结果展示

  • 源代码

 设计思路

这里参考自然语言处理作业（实现bigram）_哔哩哔哩_bilibili的思路

先遍历语料库里的汉字，为每个汉字建立一个类似如下的字典：

然后遍历整个文档（只保留汉字字符），为每个汉字建立其后一个汉字出现的频次，得到类似如下的矩阵：

用上面的矩阵通过加一平滑法平滑后，除以总频次，得到类似如下的概率矩阵。然后就可以根据输入的字查找概率最大的5个字作为二元词组的后一个字。

<
最低0.47元/天 解锁文章
创建一个Bigram字符预测模型
AI天才研究院
06-21 683
创建一个Bigram字符预测模型 1.背景介绍 在自然语言处理（NLP）领域，语言模型是一个重要的研究方向。语言模型的目标是通过统计和机器学习的方法，预测文本序列中的下一个字符或单词。Bigram模型是一种简单而有效的语言模型，它通过考虑当前字符和前一个字符之间的关系来进行预测。尽管Bigr
采用bigram语言模型实现的拼音串智能转换汉字串
08-12
采用bigram语言模型实现的拼音串智能转换汉字串
统计语言模型：Bi-gram
机器会学习的博客
05-30 2627
本文通过使用一小部分的中文语料，训练一个Bigrams模型，然后使用Bigrams模型以自回归的方式生成一段中文文本，纯粹为了学习和娱乐，因为Bigrams为了得到较好的结果一般需要数以亿计的词汇才可以，本文采用的训练数据约有几千条梗文。Bigrams(二元语法模型),是一种简单易实现但实际应用价值有限的统计语言模型，是N-gram的一个特例。与它们构成的二元组合概率相同。的前提下，出现某个字符。即：在给定前一个字符。
exchange:Bigram交换算法
03-26
交换词聚类算法的高效C ++实现 通过在类之间交换单词来优化bigram的困惑。 评估可以在多个线程中并行进行。 使用词类和类词统计信息来提高效率。 每行假定一个句子。 如果语料库中不存在句子，则将开始和结束标记（ <s>和</s> ）添加到每行。 困惑度值包括句子结尾符号。 更多细节： Martin，Liermann，Ney：bigram和trigram词聚类算法，语音通信1998 Botros，Irie，Sundermeyer，Ney：关于单词类的有效训练及其在递归神经网络语言模型中的应用，Interspeech 2015 编译可执行文件 要求 提供的Makefile可与具有C ++ 11支持的GCC编译器一起使用，例如GCC 4.6或更高版本。 也应该在MinGW上工作。 Zlib库和头文件。 在linux系统上，这些通常包含在软件包zlib1g和zlib1g-dev 。 s
语音识别-浅谈语言模型
qq_39354864的博客
05-30 1223
语音识别-语言模型统计语言模型统计语言模型的定义统计语言模型的作用其他知识如何计算语言模型中的概率常见术语n-gram语言模型n-gram语言模型的估计 统计语言模型 统计语言模型的定义 统计语言模型是所有词序列上的一个概率分布： 统计语言模型的作用 1.计算任意词序列的概率，以便确定概率最大的词序列。 2.给定一个历史词序列，预测下一个出现概率最大的词，并计算这个概率。 假定s=(w1,w2,⋯ ,wn)\boldsymbol{s}=\left( w_1,w_2,\cdots,w_n\right)s=(w
LeetCode——Bigram算法源码
weixin_43551575的博客
08-22 586
Bigram算法Java实现 题目： 给出第一个词 first 和第二个词 second，考虑在某些文本 text 中可能以 “first second third” 形式出现的情况，其中 second 紧随 first 出现，third 紧随 second 出现。 对于每种这样的情况，将第三个词 “third” 添加到答案中，并返回答案。 示例 1： 输入：text = “alice is a...
让机器学会断句：基于词典的Bigram分词算法
李兰溪的专栏
01-14 4430
目录概述从序列到图Unigram 模型Bigram 模型实现 概述 分词是NLP任务Pipeline中的重要步骤，一般来说都需要将句子切分成词之后，才能进一步把词进行向量化，最终输出各种各样的数学模型中，从而完成特定的NLP任务。中文不同于英文句子那样天然会用空格分割单词，所以中文句子切成独立的词相对困难，并且中文句子的词是上下文相关的，不同的分词方式会导致同一个句子出现不同含义。例如: 研究所取...
uni-gram与bi-gram语言模型
qq_52852138的博客
03-06 3746
实验内容 用python编程实践语言模型（uni-gram和bi-gram）,加入平滑技术。 计算test.txt中句子的PPL，对比uni-gram和bi-gram语言模型效果。 遇到和解决的问题 问题1 问题：列表和字典作为实参传入函数时，在函数体内部改变形参，会导致实参也发生改变 解决：一维列表传入使用list.copy()，二维字典传入使用copy.deepcopy(dict) 详情可见：Python中实参随形参改变而改变的问题_长命百岁️的博客-优快云博客。该博客编写于实验过程中，针对本问
Bigram字符预测模型
最新发布
qq_55814775的博客
05-19 419
【代码】Bigram字符预测模型。
自然语言处理lab笔记-bigram,lm
zj71hmvx的博客
02-07 864
class language_model(): def __init__(self,trainingdir=TRAINING_DIR,files=[]): self.training_dir=trainingdir self.files=files self.train() def train(self): self.unigram={} self.bigram={}
NLP-统计语言模型的平滑处理方法
Huoyo
10-27 1038
一、引言 在NLP-统计语言模型中简要介绍了统计语言模型的原理和实现方法，以bigram为例，计算了 P(我,喜欢,自然语言,处理)=P(我)∗P(喜欢∣我)∗P(自然语言∣喜欢)∗P(处理∣自然语言)P(\color{green}{我,喜欢 ,自然语言 ,处理})=P(\color{green}{我})*P(\color{green}{喜欢|我})*P(\color{green}{自然语言|喜欢})*P(\color{green}{处理|自然语言})P(我,喜欢,自然语言,处理)=P(我)∗P(喜欢∣我
NLP之文档向量化算法综述
qq128252的博客
01-30 1328
one-hot 词汇表征方法最后形成的结果是一种稀疏编码结果，在深度学习应用于 NLP 任务之前， 这种表征方法在传统的 NLP 模型中已经取得了很好的效果。但是这种表征方法有两个缺陷: 一是容易造成维数灾难，10000 个单词的词汇表不算多，但对于百万级、千万级的词汇表简直无法忍受。与词袋模型原理类似，Bi-gram 将相邻两个词编上索引，N-gram 将相邻 N 个词编上索引共现:即共同实现，比如:一句话中共同出现，或一篇文章中共同出现共现矩阵构造时需要给出共同出现的距离一个规范–窗口。
语言模型
weixin_43859153的博客
02-16 348
语言模型 Chain rule以及马尔科夫假设 Unigram、Bigram和N-gram 估计语言模型的概率 评估语言模型-Perplexity Add-one平滑（拉普拉斯平滑）、Add-K平滑 Interpolation平滑 ...
计词unigram和bigram的频次
红豆和绿豆的博客
07-27 9279
http://blog.youkuaiyun.com/niuox/article/details/11395397 在自然语言处理中，我们经常需要用到n元语法模型。 其中，有关中文分词的一些概念是我们需要掌握的，譬如： unigram 一元分词，把句子分成一个一个的汉字 bigram 二元分词，把句子从头到尾每两个字组成一个词语 trigram 三元分词，把句子从头到尾每三个字组成一
语音识别-语言模型
nsh119的博客
05-04 1万+
1. 语言模型的目的提到语言模型，给一个大家最熟悉的使用场景就是输入法，智能拼音输入法，打出一串拼音，直接给出了合适的句子，即使不是你想要的，但确实是符合语法习惯的，例如，你的名字叫“福贵”你输入了“fugui”，出来的可能是“富贵”，但不会出来“抚跪”，这就是语言模型的功劳！~~~~一句话，语音识别中语言模型的目的就是根据声学模型输出的结果，给出概率最大的文字序列！~~~2. n-gram语言模...
语言模型系列之N-Gram、NPLM及Word2vec
TiffanyRabbit的博客
05-23 1万+
上一篇博客简单梳理了NLP的技术架构、NLP语言模型的演化，以及最基本的语言模型Bag-of-Word词袋模型及基于词袋模型的重要模型和算法。本文将继续探讨NLP中重要的语言模型N-Gram语言模型，并探究其变形NPLM、CBOW及衍生物Word2vec。
自然语言处理中的N-Gram模型详解
热门推荐
白马负金羁
04-29 15万+
N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始，进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。
斯坦福大学自然语言处理第四课“语言模型（Language Modeling）”
weixin_34007886的博客
01-06 1087
一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程，由NLP领域大牛Dan Jurafsky 和 Chirs Manning教授授课：https://class.coursera.org/nlp/ 以下是本课程的学习笔记，以课程PPT/PDF为主，其他参考资料为辅，融入个人拓展、注解，抛砖引玉，欢迎大家在“我爱公开课”上一起探讨学习。 课件汇总下载地址：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值