NLP：jieba和snownlp

最新推荐文章于 2025-10-18 11:58:04 发布

原创最新推荐文章于 2025-10-18 11:58:04 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#jieba #snownlp

machine learning 专栏收录该内容

15 篇文章

订阅专栏

博客介绍了jieba和snownlp相关技术。jieba基于前缀词典识别词汇，生成DAG有向无环图，用DP查找最大概率路径确定最大切分组合，对未登陆词采用基于汉字成词能力的HMM隐马尔可夫模型和Viterbi算法。

	jieba	snownlp
star	10k+	2k+
分词模式	精确模式：试图最精确分词；全模式：可以成词都扫描，但不能解决歧义；搜索引擎模式：在精确模式基础上再划分长词，用于搜索引擎分词；	只处理unicode编码
词性标注	有	有
关键词抽取	TF-IDF	有
情感分析	无	有
文本相似度计算	无	BM25

jieba

基于前缀词典识别词汇，生成句子中所有可能成词但DAG有向无环图
DP查找最大概率路径，找出基于词频但最大切分组合
对于未登陆词，基于汉字成词能力的HMM隐马尔可夫模型，Viterbi算法

 jieba.cut( str, cut_all, hmm )
 jieba.cut_for_search( str, hmm )  // 用于搜索引擎分词，粒度较细

snownlp

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ShellDawn

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python︱六款中文分词模块尝试:jieba、THULAC、SnowNLP、pynlpir、CoreNLP、pyLTP

素质云笔记

08-10

8万+

公众号“素质云笔记”定期更新博客内容： THULAC 四款python中中文分词的尝试。尝试的有：jieba、SnowNLP（MIT）、pynlpir（大数据搜索挖掘实验室（北京市海量语言信息处理与云计算应用工程技术研究中心））、thulac（清华大学自然语言处理与社会人文计算实验室）四款都有分词功能，本博客只介绍作者比较感兴趣、每个模块的内容。jieba在这不做介绍，可见博客：...

自然语言处理NLP：LTP、SnowNLP、HanLP 常用NLP工具和库对比

Cachel Wood的博客

09-30

1707

语音识别的挑战性在于人们的说话方式 — 语速快，含糊不清，各种重音、语调和口音，以及语法常常不正确。最常见的例子是确定某个代词所指的人或物体（例如，"她"指玛丽），但也可能涉及识别文本中的隐喻或习语（例如，"熊"有时并不表示动物，而是指体型魁梧、体毛较多的人）。的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和。的许多功能，它为任务提供了一个易于理解的界面，包括情感分析、词性标注和名词短语提取等。，所有的算法都是自己实现的，并且自带了一些训练好的字典。

参与评论您还未登录，请先登录后发表或查看评论

使用JIEBA和Snownlp工具包解决文本摘要问题

weixin_52334522的博客

04-19

1944

1.摘要的提取方法文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一份能够概括这些文档中心内容的摘要。基于图排序的文本摘要生成的主要方法是通过把文章分成若干个段落或句子的集合，每个集合对应一个图的顶点，集合之间的关系对应边，最后通过图排序的算法...

Python中文自然语言处理库Snownlp实战详解

热门推荐

yyxyyx10的博客

03-16

5万+

昨晚上发现了snownlp这个库，欣喜若狂。先说说我这么开心的原因。我本科毕业设计做的是文本挖掘，用R语言做的，发现R语言对文本处理特别不友好，没有很多强大的库，特别是针对中文文本的，加上那时候还没有学机器学习算法。所以很头疼，后来不得已用了一个可视化的软件RostCM，但是一般可视化软件最大的缺点是无法调参，很死板，准确率并不高。现在研一，机器学习算法学完以后，又想起来要继续学习文本挖掘了。所以

2024年Go最全Go异常处理——defer、panic、recover，Golang零基础

2401_84920027的博客

05-11

1097

事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！二、panic和recover（宕机和宕机恢复）

002_文本分析与挖掘(jieba库三种分词模式,SnowNLP的简答演示,去除停用词,提取关键词,构建特征向量)

漠河的博客

04-09

1778

jieba 库的分词原理是利用一个中文词库，将待分词的内容与分词词库进行比对，通过图结构和动态规划方法找到最大概率的词组；除此之外，jieba 库还提供了增加自定义中文单词的功能。支持三种分词模式1、精确模式，试图将句子最精确地切开，适合文本分析；2、全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；3、搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

python 分词工具对比_五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP

weixin_35219482的博客

02-03

1732

最近玩公众号会话停不下来：玩转腾讯词向量：Game of Words(词语的加减游戏) ，准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词我爱自然语言处理，就可以得到五款分词工具的分词结果：现在的开源中文分词工具或者模块已经很丰富了，...

python语义分词工具包_五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP

weixin_39545895的博客

12-15

743

最近玩公众号会话停不下来：玩转腾讯词向量：Game of Words(词语的加减游戏)，准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词我爱自然语言处理，就可以得到五款分词工具的分词结果：现在的开源中文分词工具或者模块已经很丰富了，并且很多...

python nlp文本摘要_Python自然语言处理:Jieba分词、textrank4zh

weixin_39953100的博客

02-19

410

运用场景1.当我们遇到一篇文章并且想要快速浏览了解文章的信息(提取文章摘要)2.当我们分析一篇文章的类型(提取关键字)所以我们这里只写了一些实用的方法，并没有对这两种解析方法进行更深入的分析相关模块的安装pip install jiebapip install textrank4zhJieba分词提取关键词这里引用了朱自清的《春》，大家应该都学过。data = "盼望着，盼望着，东风来了，春天的脚...

【Python数据分析300个实用技巧】12.数据清洗与预处理之文本分词黑科技：用jieba+SnowNLP处理中文数据

04-21

1316

方法1：临时添加jieba.add_word("区块链")# 方法2：文件加载# 方法3：调整词频jieba.suggest_freq(("自然", "语言"), tune=True)text = "自然语言处理是人工智能领域的重要方向..."print(s.summary(3)) # 生成3句摘要。

python snownlp-0.12.3.tar.gz

06-07

python snownlp-0.12.3.tar.gz

SnowNlp

weixin_40903057的博客

07-10

542

from snownlp import SnowNLP text='质量还行吧！领的优惠劵买的，就是觉得挺划算的才买的，想再买一件没优惠劵了！如果是女生穿个子不是特别高买了肯定会觉得大了，他们家的款就是适合男生穿的，女生穿大部分人觉得长了，袖子也长的，这个价钱挺值得！' s=SnowNLP(text) for i in s.sentences: sco=SnowNLP(i) ...

SnowNLP和jieba库实现中文分词

cwtnice的博客

05-02

2406

SnowNLP情感分析用法： SnowNLP是一个常用的Python文本分析库，是受到TextBlob启发而发明的。由于当前自然语言处理库基本都是针对英文的，而中文没有空格分割特征词，Python做中文文本挖掘较难，后续开发了一些针对中文处理的库，例如SnowNLP、Jieba、BosonNLP等。注意 SnowNLP处理的是unicode编码，所以使用时请自行decode成unicode。 S...

SnowNLP

08-04

458

snowNLP介绍 SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意本程序都是处理的unicode编码，所以使用时请自行decode成unicod...

Python中文自然语言处理库SnowNLP

Java和大数据等相关的技术交流分享，欢迎关注交流

03-01

910

SnowNLP 是一个基于 Python 的中文自然语言处理库，专为处理中文文本而设计。它受到 TextBlob 的启发，但与 TextBlob 不同的是，SnowNLP 没有使用 NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。SnowNLP 的主要功能包括分词、词性标注、情感分析、文本转换（简繁转换）、关键词提取、摘要生成、短语提取以及文本中词语之间的依存关系分析等。

snownlp，一个有趣的 Python 库！

涛哥聊Python

07-24

2043

text = """自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。

NLP之中文自然语言处理工具库：SnowNLP(情感分析/分词/自动摘要)

weixin_42888180的博客

10-28

1万+

是一个常用的Python文本分析库，是受到TextBlob启发而发明的。由于当前自然语言处理库基本都是针对英文的，而中文没有空格分割特征词，Python做中文文本挖掘较难，后续开发了一些针对中文处理的库，例如SnowNLP、Jieba、BosonNLP等。注意SnowNLP处理的是unicode编码，所以使用时请自行decode成unicode。安装和其他库一样，使用pip安装即可。

jieba和snownlp分词词性标注的差异

05-11

jieba和snownlp都是Python中常用的中文分词工具，它们的差异主要在以下几个方面： 1. 分词算法：jieba使用的是基于前缀词典的分词算法，而snownlp则是基于隐马尔可夫模型的分词算法。 2. 词性标注：jieba可以进行词性标注，但是标注结果不太准确；而snownlp则可以进行更准确的词性标注。 3. 处理速度：由于算法和实现的差异，两个工具在处理速度上也有一定的差异，一般来说，jieba的速度比snownlp快。总的来说，jieba适合对文本进行快速的分词处理，而snownlp则适合对分词后的文本进行更准确的词性标注和其他NLP处理。