Python新词探索ngram特征统计

最新推荐文章于 2025-01-07 21:01:27 发布

小基基o_O

最新推荐文章于 2025-01-07 21:01:27 发布

阅读量1.4k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/Yellow_python/article/details/99702393

自然语言处理-应用级专栏收录该内容

15 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了Python中ngram特征在新词探索中的应用，包括unigram和bigram。对于unigram，文章详细研究了使用HMM模型以及基于词长的方法，并提供了效果比较。在bigram部分，提到了sort和flag等处理方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

unigram
bigram
- sort
- flag

unigram

HMM

仅探索新词

import pandas as pd, jieba
from os.path import dirname
from re import sub
from collections import Counter

# 读取jieba默认词典
jieba_dict = dirname(jieba

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小基基o_O

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

python | 高效统计语言模型kenlm：新词发现、分词、智能纠错

素质云笔记

09-27

6473

之前看到苏神【重新写了之前的新词发现算法：更快更好的新词发现】中提到了kenlm，之前也自己玩过，没在意，现在遇到一些大规模的文本问题，模块确实好用，前几天还遇到几个差点“弃疗”的坑，解决了之后，就想，不把kenlm搞明白，对不起我浪费的两天。。 kenlm的优点（关于kenlm工具训练统计语言模型）：训练语言模型用的是传统的“统计+平滑”的方法，使用kenlm这个工具来训练。它快速，节省内存，...

【人工智能】用Python构建词向量模型：从零实现Word2Vec并探索FastText在低频词上的优势

一个被知识诅咒的人

11-19

882

词向量是自然语言处理中的关键技术之一，将词语转换为向量表示能够捕捉语义信息并应用于机器学习模型中。本文将介绍词向量的基本概念，通过从零实现Word2Vec模型帮助读者掌握词向量的生成过程。同时，本文还将探讨FastText模型的优势，特别是在低频词处理上的改进。通过Python代码的实现和详解，我们将一步步展示如何构建词向量模型，并对比Word2Vec和FastText的性能，以便读者能够深入理解词嵌入技术及其在不同场景中的应用。

参与评论您还未登录，请先登录后发表或查看评论

N-gram算法的pytorch代码实现

STAR GAME

07-05

502

【代码】N-gram的pytorch代码实现。

python实现余弦相似度_Python中N-Gram，tf-idf和余弦相似度的简单实现

weixin_39598796的博客

12-05

429

I need to compare documents stored in a DB and come up with a similarity score between 0 and 1.The method I need to use has to be very simple. Implementing a vanilla version of n-grams (where it possi...

python 输出列表中出现最多的n个_如何计算多个列表中出现的ngram

weixin_42378997的博客

01-14

128

有人知道是否可以从n个单词表中计算，这些单词在不同的标记列表中出现了多少次？词汇表由列表中的n个单词组成，其中每个唯一的n个单词只列出一次。如果我有：列表['hello', 'how', 'are', 'you', 'doing', 'today', 'are', 'you', 'okay'] //1['hello', 'I', 'am', 'doing', 'okay', 'are', 'you...

文本特征处理（n-garm表示方法、长度规范）

IT之一小佬的博客

03-20

1465

文本N-garm表示方法前面我们说，句子可以用单个字，词来表示，但是有的时候，我们可以用2个、3个或者多个词来表示。 N-gram一组一组的词语，其中的N表示能够被一起使用的词的数量【准备词语特征的方法】例如： import jieba text = '深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。' cuted = jieba.lcut(text) print(cuted) cuted_list = [cuted[.

N-gram 特征提取

ouprince

04-26

1万+

N-gram 是一种基于统计语言模型的算法，又被称为一阶马尔科夫链。它的基本思想是将文本里面的内容按照字节进行大小为 N 的滑动窗口操作，形成了长度是 N 的字节片段序列。每一个字节片段称为 gram，对所有的 gram 的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键 gram 列表，也就是这个文本的向量特征空间。列表中的每一种 gram 就是一个特征向量维度。算法优点： 1...

新词发现算法python

热门推荐

SYP'S Blog

08-07

2万+

# n-gram from sklearn.feature_extraction.text import CountVectorizer import pandas as pd import jieba data = ["他用报话机向上级呼喊：“为了祖国，为了胜利，向我开炮！向我开炮！", "记者：你怎么会说出那番话？", "韦昌进：我只是觉得，对准我自己打，才有可能

无监督分词中ngram片段的基础特征总结

wangliang_f的专栏

05-05

3029

无监督

NLP - ngram - N元语言模型 python 实现

草青工作室的专栏

10-14

1万+

NLP - ngram - N元语言模型 python 实现一、说明 N-Gram N元语言模型： N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。 N-Gram 表示，定义一个长度为 N，步长为 1 的滑动窗口，切分原字符串得到的词段。假设 N = 2 时得到一个...

统计分词/无字典分词学习(2):n-gram词频统计

wangliang_f的专栏

12-25

7859

我们现在面对的是“wheninthecourseofhumaneventsitbecomesnecessary”这样一堆语料，要获取词典，怎么办？第一步肯定是找到所有可能是词的片段了，常用的方法就是n-gram切分了，如假设词的最大长度是3，则句子“abcd”的n-gram切分就是： 1-gram切分：a b c d 2-gram切分：ab bc cd 3-gram切分：abc bcd

利用N-Gram模型概括数据（Python描述）

MrLevo520的博客

08-08

1万+

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串转换成unicode编码。 encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘gb2312’)，表示将unicode编码的字符串转换成gb2312编码。 import string list =

自然语言处理中n-gram模型学习笔记

u010899985的博客

01-26

1万+

语言模型对于很多自然语言处理领域的问题，比如机器翻译，处理要确定预测结果中的字词集合以外，还有一个非常重要的方面就是要评估文本序列是否符合人类使用的习惯。也就是要判断文本是否通顺、自然、甚至在翻译问题上，“信”、“达”、“雅”是一种高级的要求。语言模型就是用于评估文本符合语言使用习惯程度的模型。要让机器来评估文本是否符合人类的使用习惯，一种方式是通过语言学方面的

文本特征工程之N-Gram

AI深入浅出

12-20

9138

文本特征的选择和提取，是传统文本分类的核心内容。最近在做文本的特征工程构建，陆陆续续搜集到一些公认的对文本表征能力比较强的特征，比如频次法、tf-idf、互信息方法、N-Gram、Word2Vec等，文本特征包含以上这些但也不限于这些。频次法频次法，顾名思义，十分简单。它记录每篇文章的次数分布，然后将分布输入机器学习模型，训练一个合适的分类模型。对这类数据进行分类，需要指出的是：在统计次数分布时，

北邮Ngram汉语切分技术及Python实现

标题“基于MP最大概率的Ngram汉语切分（北邮计算机语言学基础）”和描述“基于MP最大概率的Ngram汉语切分（北邮计算机语言学基础）有简洁的说明文档和python源代码”表明了本文档所涉及的主题是与自然语言处理（NLP...