NLP中的Ngram算法简易原理及overlap

最新推荐文章于 2025-10-23 09:20:58 发布

原创最新推荐文章于 2025-10-23 09:20:58 发布 · 5.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#NLP #ngram #overlap #算法

NLP 专栏收录该内容

1 篇文章

订阅专栏

本文通过实例解析N-gram模型，介绍了unigram、bigram及trigram的概念，并探讨了序列间overlap的计算方法，强调了在计算overlap时不必严格对应相同位置。

查到的大多数博客写的都比较复杂，在看到一个stanford cs276的课件之后，决定按照自己的理解来写一点，权做抛砖引玉了。

假定给予两个词

november

december

则unibram是

n o v e m b e r

d e c e m b e r

bigram是

no ov ve em mb be er

de ec ce em mb be er

trigram是

nov ove vem emb mbe ber

dec ece cem emb mbe ber

如果在计算两个序列之间的overlap的时候，比如对于trigram而言，其

X∪Y= 9

X∩Y =3

因此其overlap是3/9

而在276课件中，是提到了X与Y可以为不同长度。因此，我认为在X和Y的overlap比对中，并不一定需要相同位置的两个一样，即对顺序不敏感。意思是说

nov emb mbe ber ove vem和dec ece cem emb mbe ber的overlap也是3/9

276 课件链接

https://web.stanford.edu/class/cs276/handouts/lecture3-tolerant-retrieval-handout-1-per.pdf

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

evaljy

关注关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【n-gram算法】一篇文章讲透～

2303_79387663的博客

03-27

1万+

n-gram算法作为一种基于统计的NLP算法，在文本分析和处理中发挥着重要作用。通过统计文本中连续n个词的序列的频率信息，n-gram为文本生成、语言模型构建、文本分类等任务提供了有力的支持。然而，n-gram算法也存在一些局限性，如数据稀疏性、上下文信息有限以及计算复杂度高等问题。因此，在实际应用中，我们需要根据具体任务和数据特点选择合适的n值和算法参数，以充分发挥n-gram算法的优势并克服其局限性。

N-gram 相似度计算与评估

SimpleLearning

08-02

1878

\text{Precision}_{\text{Unigram}} = \frac{\text{重叠的Unigram数量}}{\text{生成文本中的总Unigram数量}} = \frac{5}{6} \approx 0.83 ]\text{Recall}_{\text{Unigram}} = \frac{\text{重叠的Unigram数量}}{\text{参考文本中的总Unigram数量}} = \frac{5}{6} \approx 0.83。

参与评论您还未登录，请先登录后发表或查看评论

ngram 算法尝试

11-11

ngram 尝试算法希望下载的人能继续编写下去。可以互相讨论

N-Gram到底是什么？

最新发布

沛哥儿的专栏

10-23

831

如果你用过手机输入法的“自动补全”、聊天机器人的“上下文猜测”，或是搜索引擎的“查询建议”，那你已经在和N-Gram打交道了。这个诞生于上世纪80年代的统计语言模型，看似“古老”，却仍是今天轻量级AI应用的“基石”——它像一把“语言密码钥匙”，帮机器理解“你下一个词会说什么”。本文从程序员的视角拆解N-Gram：它是什么、怎么工作、为什么现在还在用，以及如何用代码实现。N-Gram不是“AI的过去时”，而是“现在进行时”。它像一把“瑞士军刀”，虽不锋利，但能解决很多“小而具体”的问题。

N-gram算法

Rnan_prince的博客

07-17

3132

语言模型语言模型起源于语音识别(speech recognition)，输入一段音频数据，语音识别系统通常会生成多个句子作为候选，究竟哪个句子更合理？就需要用到语言模型对候选句子进行排序。语言模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。能够计算的模型就是语言模型，其中为单词。 N-gram语言模型 N-gram语言模型是NLP时代最流行的一种。 1、马尔可夫假设：每个词只依赖前n个词 2、贝叶斯定理因此：我们也可以引入二阶马尔可夫假设：每个词依...

N-gram的原理、用途和研究

weixin_34209406的博客

08-23

316

2019独角兽企业重金招聘Python工程师标准>>> ...

31、Kaggle 自然语言处理竞赛实战指南

k0l1m2n3o的博客

09-20

本文介绍了自然语言处理在Kaggle竞赛中的实战应用，涵盖情感分析、开放领域问答和文本增强策略。通过Tweet Sentiment Extraction和Google QUEST Q&A Labeling竞赛案例，详细展示了数据预处理、模型构建与优化、特征工程及模型评估的完整流程，并分享了Kaggle大师的竞赛经验。同时，探讨了同义词替换、随机插入、交换与删除等文本增强方法，总结了各类技术的优缺点，展望了模型优化、多模态融合与自动化学习的发展方向，为NLP竞赛参与者提供实用指南。

31、自然语言处理建模：从情感分析到开放域问答

star5的专栏

09-20

本文深入探讨了自然语言处理中的三个核心领域：情感分析、开放域问答和文本增强。通过Kaggle竞赛实例，详细介绍了从数据预处理、特征工程、模型构建到评估的完整流程，并提供了基于DistilBERT和Ridge回归等模型的实现方法。同时，文章涵盖了多种文本增强策略及其在模型训练中的应用，并结合专家访谈分享了实用的竞赛经验与建议。最后展望了NLP领域未来的发展趋势，包括更强大的预训练模型、多模态融合和自适应增强技术。

31、自然语言处理建模实战：从情感分析到开放域问答

e1f2g的博客

08-29

本文深入探讨了自然语言处理（NLP）中的三个核心主题：情感分析、开放域问答和文本增强策略。通过结合Kaggle竞赛实例，详细介绍了数据准备、特征工程、模型构建与训练的具体方法，并提供了实用的Python代码示例。此外，还采访了两位Kaggle竞赛高手，分享了他们在竞赛中的经验和技巧。文章还总结了文本增强的常见策略及其注意事项，并展望了未来NLP领域的发展趋势。无论是初学者还是有经验的从业者，都能从中获得有价值的见解。

自然语言处理建模：从情感分析到开放域问答

自然语言处理（NLP）是一个跨语言学、计算机科学和人工智能的领域，主要聚焦于处理和分析大量自然语言数据的算法。近年来，NLP 在 Kaggle 竞赛中越来越受欢迎。我们将聚焦于 Kaggle 竞赛中常见的几个子领域，包括...

LLM 中什么是Prompts？如何使用LangChain 快速实现Prompts 一

2401_85324918的博客

06-14

1191

什么是promptLangchain 中构建。使用 langchain 构建消息类型。prompt 选择器的类型，以及为什么需要选择器。那么，我们该如何学习大模型？作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

N-Gram的基本原理

weixin_33720078的博客

08-06

432

1.N-Gram的介绍 N-Gram是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关（这也是隐马尔可夫当中的假设）。整个句子出现的概率就等于各个词出现的概率乘积。各个词的概率可以通过语料中统计计算得到。通常N-Gram取自文本或语料库。 N=1时称为unigram，N=2称为bigram，N=3称为trigram，假设下一个词的出现依赖它前面的一个词，即 bigram，假设...

n-gram的原理解释

nuohuang3371的博客

12-24

2130

本文对n-gram的基本原理进行阐述，并简单介绍它在应用中会出现的维度问题。

n-gram算法初步理解

2303_79387663的博客

02-18

2634

n-gram算法将文本切分为长度为n的连续词序列，即n-gram。在构建语言模型时，n-gram算法利用统计方法计算每个n-gram在训练语料库中出现的频率，然后根据这些频率来预测新的文本序列中可能出现的词。具体来说，给定一个n-gram序列(w1,w2,...,wn-1)，n-gram算法可以计算下一个词wn的概率P(wn|w1,w2,...,wn-1)，即条件概率。构建n-gram模型：根据设定的n值，将预处理后的文本序列切分为n-gram片段，并统计每个n-gram在训练语料库中出现的频率。

以实践的方式讨论：N-Gram原理与其应用

算法channel

10-16

648

「Python与算法社区」第306篇原创“N-Gram 模型介绍”本文将以实践的方式讨论N-Gram原理与其应用，我对N-Gram的接触来源与一个文本分类的实验，发...

NGram

weixin_34015860的博客

03-14

286

2019独角兽企业重金招聘Python工程师标准>>> ...

NGRAM算法总结

qq_38949591的博客

02-23

3476

自然语言处理中的N-Gram模型详解 1. 距离公式：s字符串2分词后长度 + t字符串2分词后长度 - 公共长度 8 + 9 − 2 × 4 = 9 2. 评估语句是否合理（完形填空） ...

LeetCode算法题-Rectangle Overlap（Java实现）

weixin_34387468的博客

05-05

156

这是悦乐书的第325次更新，第348篇原创 01 看题和准备今天介绍的是LeetCode算法题中Easy级别的第195题（顺位题号是836）。矩形表示为数组[x1，y1，x2，y2]，其中（x1，y1）是其左下角的坐标，（x2，y2）是其右上角的坐标。如果交叉区域为正，则两个矩形重叠。两个仅在拐角处或边缘处接触的矩形不会重叠。给定两个（轴对齐）矩形，判断它们是否重叠。例如：输入：rec1...